[論文レビュー] Synergies Between Affordance and Geometry: 6-DoF Grasp Detection via Implicit Representations

Zhenyu Jiang, Yifeng Zhu+3 more|arXiv (Cornell University)|Apr 4, 2021

Robot Manipulation and Learning参考文献 56被引用数 6

ひとこと要約

本論文では、暗黙的ニューラル表現を用いて6自由度のグリップ検出と3次元再構築を統合的に学習する、GIGAと呼ばれる包括的なディープラーニングフレームワークを提案する。Truncated Signed Distance Function (TSDF)ボクセルグリッドからの共有で微分可能な特徴を活用することで、グリップアフォーダンスとジオメトリの相乗効果を活用し、シミュレーションおよび現実世界のクラッター除去タスクの両方でベースラインより10%以上のグリップ成功率の向上を達成した。

ABSTRACT

Grasp detection in clutter requires the robot to reason about the 3D scene from incomplete and noisy perception. In this work, we draw insight that 3D reconstruction and grasp learning are two intimately connected tasks, both of which require a fine-grained understanding of local geometry details. We thus propose to utilize the synergies between grasp affordance and 3D reconstruction through multi-task learning of a shared representation. Our model takes advantage of deep implicit functions, a continuous and memory-efficient representation, to enable differentiable training of both tasks. We train the model on self-supervised grasp trials data in simulation. Evaluation is conducted on a clutter removal task, where the robot clears cluttered objects by grasping them one at a time. The experimental results in simulation and on the real robot have demonstrated that the use of implicit neural representations and joint learning of grasp affordance and 3D reconstruction have led to state-of-the-art grasping results. Our method outperforms baselines by over 10% in terms of grasp success rate. Additional results and videos can be found at https://sites.google.com/view/rpl-giga2021

研究の動機と目的

• オンボードの深度センシングのみを用いて、部分的に観測された3次元シーンにおける頑健な6自由度グリップ検出の課題に対処すること。
• 3次元再構築とグリップアフォーダンス学習の相乗関係を活用し、一般化性能と性能を向上させること。
• グリップ予測とジオメトリ再構築のマルチタスク学習を可能にする、微分可能で連続的な暗黙的表現を構築すること。
• 共同監視により、グリップ可能な部分に代表的表現能力を動的に割り当てることで、遮蔽領域におけるグリップ成功を向上させること。
• 本手法をシミュレーションおよび実際のロボットを用いた現実世界のクラッター除去タスクで検証すること。

提案手法

• モデルは、入力深度画像から導出されたTruncated Signed Distance Function (TSDF)ボクセルグリッドを、構造的特徴入力として用いる。
• 深層ニューラルネットワークが、学習された暗黙的関数を介して、局所的な3次元座標を連続的で微分可能な特徴に符号化する。
• これらの特徴は、クエリポイントにおけるグリップアフォーダンス（グリップ品質、方向、幅）およびボクセルのバイナリ占有状態（3次元ジオメトリ）の両方を予測するために使用される。
• モデルは、自己教師的グリップ試行（シミュレーション内）と再構築のための真値ジオメトリを用いたマルチタスク監視により、エンドツーエンドで訓練される。
• 共有された構造的特徴グリッドにより、グリップアフォーダンスが高いための領域に計算リソースを動的に割り当てられる。
• フレームワークにより、両タスクの微分可能訓練が可能となり、共有表現の勾配ベース最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 6自由度グリップ検出と3次元再構築の共同学習は、部分的に観測された複雑なシーンにおけるグリップ検出性能を向上させることができるか？
• RQ2 3次元再構築からの監視は、遮蔽や低視認性領域におけるグリップ予測をどのように向上させるか？
• RQ3 グリップ監視は、エッジやハンドルのようなグリップ可能な領域の品質向上に寄与するか？
• RQ4 暗黙的ニューラル表現は、部分的観測下の現実世界でのグリッピングにおいて、より優れた一般化性能とロバストネスを実現できるか？
• RQ5 行動に関連する領域に代表的表現能力を動的に割り当てることで、性能向上が明確に測定可能か？

主な発見

• GIGAは、実世界実験においてPileベンチマークで86.9%、Packedベンチマークで83.3%のグリップ成功率（GSR）を達成し、VGNベースラインを10%以上上回った。
• モデルは部分的遮蔽物体において優れた性能を示し、ベースラインが見逃したエッジやハンドルといったグリップ可能な部分を正しく検出できた。
• グリップ可能な領域における再構築品質が向上した：GIGA-Geoが無視または低く表現していたカップのハンドルを、GIGAはより完全に再構築した。
• アブレーションスタディの結果、GIGA-Geo（ジオメトリのみ）はより正確なグローバル再構築を達成したが、GIGA（共同）はグリップ可能な部分をよりよく保持しており、グリップ監視が行動関連ジオメトリに向けた特徴学習を導くことが示された。
• GIGAにおけるIoU-GraspとIoUの差が、他の手法と比較して最大であった。これは、グリップ監視が高アフォーダンス領域に代表的表現能力を動的に割り当てていることを示している。
• 失敗事例の主な原因は、接触面積が不足していたことであった。これは、訓練時に使用されたシミュレーテッド接触および摩擦モデルの限界を示唆している。