[論文レビュー] Where2Act: From Pixels to Actions for Articulated 3D Objects

Kaichun Mo, Leonidas Guibas+3 more|arXiv (Cornell University)|Jan 7, 2021

Human Pose and Action Recognition被引用数 6

ひとこと要約

この論文では、RGB-D入力を使用して、アーティキュレーテッド3Dオブジェクトを操作する際のピクセル単位の行動可能性スコア、インタラクションの提案、成功確率を予測する深層学習フレームワークであるWhere2Actを提案する。シミュレーション（SAPIEN）においてオンラインでポリシーに依存するデータサンプリング戦略を用いることで、一般化され、行動に特化した表現を効率的に学習し、新しい形状や未観測のオブジェクトカテゴリに対しても強力なゼロショット一般化性能を達成する。

ABSTRACT

One of the fundamental goals of visual perception is to allow agents to meaningfully interact with their environment. In this paper, we take a step towards that long-term goal -- we extract highly localized actionable information related to elementary actions such as pushing or pulling for articulated objects with movable parts. For example, given a drawer, our network predicts that applying a pulling force on the handle opens the drawer. We propose, discuss, and evaluate novel network architectures that given image and depth data, predict the set of actions possible at each pixel, and the regions over articulated parts that are likely to move under the force. We propose a learning-from-interaction framework with an online data sampling strategy that allows us to train the network in simulation (SAPIEN) and generalizes across categories. Check the website for code and data release: https://cs.stanford.edu/~kaichun/where2act/

研究の動機と目的

• 視覚入力からアーティキュレーテッド3Dオブジェクトの局所的かつ行動可能なインタラクション（例：押す、引く）を予測できるようにする。
• 新しいオブジェクト形状やカテゴリに一般化可能な、行動特化型かつグリッパーに配慮した視覚表現を学習する。
• 適応的サンプリングを用いてデータ効率を向上させる、効率的なインタラクティブな学習フレームワークを開発する。
• SAPIENシミュレータ内で、15種類の屋内オブジェクトカテゴリにまたがる972の形状を対象とした、行動予測の評価ベンチマークを構築する。
• 受動的な意味理解（例：部品セグメンテーション）と能動的な操作の間のギャップを埋めるために、実行可能で物理的に可能である行動を予測する。

提案手法

• モデルは、各ピクセルに対して、6種類の基本的行動（例：押す、引く、引き上げる）のための行動可能性スコア、インタラクション軌道の提案、成功確率を予測するための新しいニューラルネットワークアーキテクチャを採用する。
• 成功すると予測される行動に向けた探索を偏らせる、ポリシーに依存するオンラインデータサンプリング戦略を採用し、インタラクションベースの学習におけるデータ効率を向上させる。
• PartNet-Mobilityデータセットを用いてSAPIENシミュレータで学習を実施し、15のカテゴリにまたがる972の3Dオブジェクト形状とインタラクション可能である。
• 相互作用の結果を自己教師信号として用い、エンドツーエンドでネットワークを訓練する—状態の変化が成功した場合はポジティブ、それ以外はネガティブとラベル付ける。
• フレームワークは合成データおよび実世界の3Dスキャンと2D画像の両方で評価され、実世界データへのゼロショット転送性能を示している。
• 行動可能性の予測は、行動タイプとグリッパーの向きの両方に条件付けられており、向きに配慮したインタラクション計画を可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚ベースのモデルは、RGB-D入力のみを用いて、アーティキュレーテッド3Dオブジェクトのピクセル単位の行動可能性とインタラクションの提案を予測できるか？
• RQ2 オンラインでポリシーに依存するデータサンプリングは、操作ポリシーの学習におけるデータの効率性を向上させるのにどの程度有効か？
• RQ3 合成データで学習したモデルは、実世界の設定において、トレーニング時に見なかった新しいオブジェクト形状や未観測のオブジェクトカテゴリにどの程度一般化できるか？
• RQ4 行動特化型およびグリッパーの向きに配慮した表現は、インタラクション予測の正確性と局所化精度をどの程度向上させるか？
• RQ5 幾何学的および構造的特徴に基づいて、押せる領域（例：ハンドル）と引ける領域（例：平らな表面）を区別して学習できるか？

主な発見

• 提案されたWhere2Actフレームワークは、トレーニング時に見なかった新しいオブジェクトカテゴリに対しても、強力なゼロショット一般化を達成している。
• オンラインデータサンプリング（OS）戦略は、アブレーションスタディにより、行動可能性と成功予測のメトリクスに一貫した向上効果を示しており、性能向上に顕著に寄与している。
• モデルは非常に局所的な行動可能性予測を学習しており、ハンドルや部品の境界を引くための最適なターゲットとして正しく特定している一方で、平らな表面は押すのに適しているとマークしている。
• 方向性を持つ行動（例：左に押す、上に引く）に対して、ネットワークは物理的妥当性とロボットの運動学的制約に整合した向きに配慮したインタラクション提案を生成している。
• モデルは実世界データに対しても効果的に一般化しており、ReplicaおよびGoogle Scanned Objectsの3Dスキャン、および2D画像に対しても妥当な行動可能性スコアとインタラクションの提案を生成している。
• 定性的な結果から、ネットワークはドアを開けるのにあまり効果的でない「左に引く」と、より効果的な「上に引く」の区別を正しく行っていることが示されており、オブジェクトのメカニズムに対する機能的理解を反映している。