[論文レビュー] Learning Rope Manipulation Policies Using Dense Object Descriptors Trained on Synthetic Depth Data

Priya Sundaresan, Jennifer Grannen+6 more|arXiv (Cornell University)|Mar 3, 2020

Robot Manipulation and Learning参考文献 37被引用数 16

ひとこと要約

この論文では、合成深度画像上で完全に訓練された密度的深度オブジェクト記述子（DDOD）を用いて、解釈可能で転送可能なロープ操作ポリシーを学習する手法を提案する。シミュレーション内で初期状態とゴール状態のロープ配置間の点対応を学習することで、動画のデモからの模倣と幾何的ポリシー学習の両方が可能となり、実際のABB YuMiロボット上で以前に見たことのない構成からのノット結びタスクで66%の成功率を達成した。

ABSTRACT

Robotic manipulation of deformable 1D objects such as ropes, cables, and hoses is challenging due to the lack of high-fidelity analytic models and large configuration spaces. Furthermore, learning end-to-end manipulation policies directly from images and physical interaction requires significant time on a robot and can fail to generalize across tasks. We address these challenges using interpretable deep visual representations for rope, extending recent work on dense object descriptors for robot manipulation. This facilitates the design of interpretable and transferable geometric policies built on top of the learned representations, decoupling visual reasoning and control. We present an approach that learns point-pair correspondences between initial and goal rope configurations, which implicitly encodes geometric structure, entirely in simulation from synthetic depth images. We demonstrate that the learned representation -- dense depth object descriptors (DDODs) -- can be used to manipulate a real rope into a variety of different arrangements either by learning from demonstrations or using interpretable geometric policies. In 50 trials of a knot-tying task with the ABB YuMi Robot, the system achieves a 66% knot-tying success rate from previously unseen configurations. See https://tinyurl.com/rope-learning for supplementary material and videos.

研究の動機と目的

• ロープのような高次元的可動性を持つ1次元オブジェクトのロボット操作の課題に対処すること。これは、自己遮蔽や自己類似性のための自己遮蔽や自己類似性に起因する高次元の配置空間と認識の難しさに起因する。
• 現実世界でのデータ収集にかかるコストを低減するため、合成深度画像を用いて完全にシミュレーション上で視覚的表現を訓練すること。
• 視覚的認識と制御ポリシー学習を分離することで、解釈可能で転送可能な幾何的ポリシーを可能にすること。
• 単一の動画デモまたは幾何的アルゴリズムのみを用いて、複雑な平面的および非平面的配置のロープ操作を可能にすること。
• 学習された密度的深度オブジェクト記述子（DDOD）を用いて、未観測のロープ構成への頑健な一般化を達成すること。

提案手法

• ロープの配置の合成深度画像上で、ラベル付きの対応関係を含む3次元または16次元の密度的深度オブジェクト記述子（DDOD）ネットワークを訓練し、実世界への転送を向上させるためにノイズを注入する。
• シミュレーション内で初期状態とゴール状態のロープ状態間の点対応を学習することで、正確な動的シミュレーションを必要とせずに幾何的構造を暗黙的に符号化する。
• DDODを用いて、実画像とゴール画像間の交差率（IoU）に基づく損失関数を最小化することで、動画デモの追跡を実現し、ロープ曲線のシフトおよび回転によるアライメントを実施する。
• DDODを用いてループおよびエンドポイントの対応関係を特定し、逐次的アクションを誘導するノット結びのための幾何的ポリシーを設計する。
• グリッパーを用いて、学習済みの表現を実際のABB YuMiロボットにデプロイし、模倣ポリシーと幾何的ポリシーの両方を実行する。
• パrametric曲線を注釈付きロープ点にフィットさせた際の二乗誤差の合計を計算する損失関数を用いて、シフトおよび回転の最適化を経て性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 合成深度データで訓練された密度的オブジェクト記述子は、現実世界のデータなしに、効果的で解釈可能なロープ操作ポリシーを可能にするか？
• RQ2 シミュレーション内でのみ訓練されたDDODは、非平面的配置を含む多様なロープ構成に一般化可能か？
• RQ3 学習済みのDDODに基づく幾何的ポリシーは、未観測の初期状態からの複雑なタスク（ノット結びなど）で高い成功率を達成できるか？
• RQ4 本手法の性能は、広範な現実世界データ収集を必要とする先行の学習ベースの手法と比較してどうか？
• RQ5 DDODは、タスクに依存しない、解釈可能で効果的な実世界の操作に適した転送可能なポリシーをどの程度サポートするか？

主な発見

• 本システムは、50種類の未観測のロープ構成からのノット結びタスクにおいて、実際のABB YuMiロボットで66%の成功率を達成し、類似条件下での先行手法を上回った。
• 本手法は、1回の動画デモを用いて、DDODに基づく視覚的対応関係マッチングにより、平面的および非平面的ロープ操作シーケンスの追跡と再現に成功した。
• 失敗要因の分析から、16%の失敗は誤ったエンドポイントまたはループポイントの対応関係に起因し、12%は引き抜き中のエンドポイントの遮蔽に起因していた。
• トレーニング時にノイズを注入した合成データを用いることで、実世界のロープ操作への有効な転送が可能になり、ドメインシフトが低減された。
• ノット結びのための幾何的ポリシーは、実世界データにおけるエンドツーエンドのトレーニングなしに、複雑でマルチステップの操作タスクをDDODがサポートできることを示した。
• 本手法は認識と制御を分離しており、幾何的に構造化され、タスク間で転送可能な解釈可能なポリシーを可能にした。