[論文レビュー] Structure from Action: Learning Interactions for Articulated Object 3D Structure Discovery

Neil Nie, Samir Yitzhak Gadre+2 more|arXiv (Cornell University)|Jul 19, 2022

Human Pose and Action Recognition被引用数 5

ひとこと要約

SfAは、時間経過に伴う情報的な3D相互作用の学習と視覚的観測の集約を通じて、部品の幾何構造、セグメンテーション、ジョイントパラメータを含む3Dアーティキュレーテッドオブジェクト構造を発見するフレームワークである。シミュレーションで訓練されたSfAは、未学習のオブジェクトカテゴリおよび実世界のオブジェクトに対しても一般化でき、未学習カテゴリにおける3D IoUで最先端のパイプラインを25.4パーセンテージポイント上回る。

ABSTRACT

We introduce Structure from Action (SfA), a framework to discover 3D part geometry and joint parameters of unseen articulated objects via a sequence of inferred interactions. Our key insight is that 3D interaction and perception should be considered in conjunction to construct 3D articulated CAD models, especially for categories not seen during training. By selecting informative interactions, SfA discovers parts and reveals occluded surfaces, like the inside of a closed drawer. By aggregating visual observations in 3D, SfA accurately segments multiple parts, reconstructs part geometry, and infers all joint parameters in a canonical coordinate frame. Our experiments demonstrate that a SfA model trained in simulation can generalize to many unseen object categories with diverse structures and to real-world objects. Empirically, SfA outperforms a pipeline of state-of-the-art components by 25.4 3D IoU percentage points on unseen categories, while matching already performant joint estimation baselines.

研究の動機と目的

• ロボットが事前のカテゴリ固有の知識なしに、未学習のアーティキュレーテッドオブジェクトの3DアーティキュレーテッドCADモデルを自律的に発見できるようにすること。
• 意図的な3D相互作用を通じて、アーティキュレーテッドオブジェクトにおける隠れた幾何構造やジョイント構成を回復する課題に対処すること。
• 持続的な部品追跡と再構築を可能にする、相互作用ポリシー学習と動的3D認知を統合した統一フレームワークの開発。
• 訓練済みカテゴリを超えて多様な運動学的構造を有する実世界のオブジェクトおよび多様なキネマティック構造へ、ゼロショット一般化を可能にすること。
• 受動的認知や固定された相互作用戦略の限界を克服し、視覚フィードバックに基づいて適応的で情報的な3D行動を学習すること。

提案手法

• SfAは、隠れた部品を露出させ、運動学的制約（例：ジョイントタイプや回転軸）を明らかにするための、順序付き3D相互作用ポリシーを学習する。
• 観測された相互作用にわたるRGB-D観測を統合することで、遮蔽されている場合でさえも部品を完成させ、セグメンテーションする動的3D部品再構築モジュールを採用する。
• 観測された相互作用からの運動軌跡を分析することで、ジョイントパラメータ（例：タイプ、軸、範囲）を推定するための共同推定モジュールを使用する。
• すべての部品とジョイントを一貫して表現できる標準座標フレームを用い、3D CADモデル（例：URDF）の出力を可能にする。
• 微分可能かつ可視化と計画のパイプラインを用いて、完全にシミュレーション内で訓練され、実世界のロボットへのゼロショットデプロイメントを可能にする。
• 履歴集約は、複数の相互作用ステップにわたる部品の識別子と幾何構造を追跡するメモリ拡張ネットワークによって学習される。

実験結果

リサーチクエスチョン

• RQ1 1つのエージェントは、未学習のアーティキュレーテッドオブジェクトにおける隠れた幾何構造や運動学的構造を露呈させる情報的な3D相互作用を学習できるか？
• RQ2 連続的な相互作用からの視覚的観測を3D空間にどのように集約することで、完全で遮蔽された部品を再構築し、時間経過に伴って部品の同一性を維持できるか？
• RQ3 シミュレーションで訓練されたモデルは、訓練済みカテゴリとは異なる運動学的構造や部品構成を有する実世界のアーティキュレーテッドオブジェクトへどの程度一般化できるか？
• RQ4 認知と連携して3D相互作用を学習することは、受動的観測や2D行動空間と比較して、部品セグメンテーションやジョイント推定をより良くするか？
• RQ5 相互作用と認知の統合は、パイプラインベースのベースラインと比較して、未学習オブジェクトカテゴリにおける性能をどの程度向上させるか？

主な発見

• SfAは、未学習のオブジェクトカテゴリにおいて、最先端のコンponentパイプラインを25.4パーセンテージポイント上回る3D IoUを達成し、強力なゼロショット一般化を示した。
• SfAの相互作用ポリシーは、未学習カテゴリにおいて、最も近いベースラインと比較して8点多い最適な行動ポイントを達成し、3D空間における優れた戦略学習を示した。
• SfAは実世界のオブジェクトへ一般化可能である：シミュレーションで訓練されたモデルを搭載したUR-5ロボットシステムは、RGB-D観測から部品とジョイントを正常に発見した。
• 2D行動空間ベースライン（例：AtP）は、特に遮蔽された部品に対して可視性が限られているため、複雑なオブジェクトでは失敗するが、SfAは顕著に優れた性能を示した。
• 履歴集約により、眼鏡のような新しい運動学的構造において、mIoUが最大16パーセンテージポイント向上した。特に複数部品構造のオブジェクトで顕著な向上が見られた。
• 学習された相互作用を用いたSfAは、真値行動を使用するモデル（SfA-Perception + GT-Act）と同等の性能を達成した。これにより、相互作用ポリシーの有効性が裏付けられた。