[論文レビュー] Form2Fit: Learning Shape Priors for Generalizable Assembly from Disassembly

Kevin Zakka, Andy Zeng+2 more|arXiv (Cornell University)|Oct 30, 2019

Robot Manipulation and Learning参考文献 36被引用数 14

ひとこと要約

Form2Fit は、自己教師ありの形状一致アプローチを提案し、シアンプルな畳み込みネットワークを用いて物体表面とターゲット配置位置の幾何的対応関係を学習することで、一般化可能なロボットキット組立を実現する。本システムは、変動する初期条件下で90%の成功を達成し、新しいキット構成では94%、未確認の物体やキットへの一般化では86%を超える性能を示す。3D CAD モデルやタスク固有のチューニングを必要とせず、分解から得られる訓練データを用いることでゼロショット転送を可能にする。

ABSTRACT

Is it possible to learn policies for robotic assembly that can generalize to new objects? We explore this idea in the context of the kit assembly task. Since classic methods rely heavily on object pose estimation, they often struggle to generalize to new objects without 3D CAD models or task-specific training data. In this work, we propose to formulate the kit assembly task as a shape matching problem, where the goal is to learn a shape descriptor that establishes geometric correspondences between object surfaces and their target placement locations from visual input. This formulation enables the model to acquire a broader understanding of how shapes and surfaces fit together for assembly -- allowing it to generalize to new objects and kits. To obtain training data for our model, we present a self-supervised data-collection pipeline that obtains ground truth object-to-placement correspondences by disassembling complete kits. Our resulting real-world system, Form2Fit, learns effective pick and place strategies for assembling objects into a variety of kits -- achieving $90\%$ average success rates under different initial conditions (e.g. varying object and kit poses), $94\%$ success under new configurations of multiple kits, and over $86\%$ success with completely new objects and kits.

研究の動機と目的

• 3D CAD モデルやタスク固有のトレーニングデータを必要とせず、新しい物体やキットに対して一般化可能なロボット組立を可能にすること。
• 正確な6次元物体ポーズ推定に大きく依存するポーズベースの組立手法の限界を克服し、新しい構成に一般化できない問題に対処すること。
• 完成キットの分解軌道を逆方向に処理することで、試行錯誤的なピックアンドプレース動作を自動的に行い、高品質な訓練データを生成する自己教師ありのデータ収集パイプラインを開発すること。
• エンドツーエンドのトレーニングにより、物体とそのターゲット配置位置の幾何的対応関係を符号化する一般化可能な形状記述子を学習すること。
• 実世界の設定において、多様な初期条件、複数キット構成、未確認の物体やキットに対して、システムの頑健性と一般化性能を評価すること。

提案手法

• Form2Fit はキット組立を形状一致問題として定式化し、完全畳み込み型シアンプルネットワークを用いて、物体表面とターゲット配置位置を対応付けるピクセル単位の特徴記述子を学習する。
• ネットワークはコントラスト損失を用いてシアンプル学習され、正例（真の対応関係）の記述子が類似するよう励ますとともに、一般化性能の向上を目的とした正則化が施される。
• 自己教師ありのデータ収集パイプラインにより、完成キットを試行錯誤的なピックアンドプレース動作で自動的に分解し、その動作シーケンスを逆方向に処理することで、真値の運動軌道と対応関係を取得する。
• 訓練データは複数のキットの実世界での分解から収集され、多様な物体およびキットの形状にわたる広範な形状の事前知識をモデルが学習できる。
• システムはRGB-D観測からヒエイトマップを生成し、それをネットワークに入力することで、マッチングに適した空間的に整合された記述子を予測する。
• 推論時、最も記述子類似度が高い物体-配置ペアを選択することで、最適なピックアンドプレース動作を決定する。

実験結果

リサーチクエスチョン

• RQ1 3D CAD モデルやタスク固有のトレーニングデータを必要とせず、新しい物体やキットに一般化可能なロボット組立ポリシーを学習できるか？
• RQ2 多様なキット組立タスクから学習した形状の事前知識が、未確認の構成や物体形状に一般化する能力をどの程度向上させるか？
• RQ3 人為的デモンストレーションやスクリプトポリシーではなく、自己教師ありの分解によって高品質で大規模な訓練データを生成することは可能か？
• RQ4 異なる回転や平行移動を伴う初期物体およびキットのポーズ変動に対して、システムの頑健性はどの程度か？
• RQ5 トレーニング時に見未曾る複数キットの組み合わせや全く新しい物体に対しても、システムは一般化可能か？

主な発見

• 変動する初期条件（ランダムな物体およびキットのポーズや向き）下でも、単一および複数物体キットの組立で平均90%の成功率を達成した。
• 複数キットの混合構成を含む新しい構成では、94.27%の成功率を達成し、未確認のキット配置に強い一般化性能を示した。
• トレーニング時に未確認の完全に新しい物体やキットに対しても、86%を超える成功率を達成し、未確認の形状に効果的なゼロショット一般化が可能であることを示した。
• t-SNE 視覚化により、学習された記述子が回転、空間的対応関係、物体の識別を符号化していることが確認され、モデルの物体変動に対する一般化能力を裏付けた。
• 失敗モードの主な原因は180°の方向転換や、幾何的に類似した物体（例：レモンとイチゴ）の混同であり、低解像度観測下での形状識別能力の限界を示唆した。
• 自己教師ありの分解パイプラインは、自律的分解からの動作シーケンスを逆方向に処理することで、人為的アノテーションなしに高品質な訓練データを効率的に生成でき、スケーラブルなデータ収集を可能にした。