[論文レビュー] Learning Latent Graph Dynamics for Deformable Object Manipulation.

Xiao Ma, David Hsu+1 more|arXiv (Cornell University)|Apr 25, 2021

Reinforcement Learning in Robotics参考文献 45被引用数 16

ひとこと要約

本論文では、キーポイントのダイナミクスを捉えるためにグラフニューラルネットワークを用い、自己遮蔽を処理するために再帰的ネットワークを用いる学習ベースの手法G-DOOMを提案する。高精細な物理シミュレータを用いた対照的学習により訓練されたG-DOOMは、布やロープの操作における効果的なモデル予測制御を可能にし、微調整なしに強力なゼロショット転送を実現する。

ABSTRACT

Manipulating deformable objects, such as cloth and ropes, is a long-standing challenge in robotics: their large number of degrees of freedom (DoFs) and complex non-linear dynamics make motion planning extremely difficult. This work aims to learn latent Graph dynamics for DefOrmable Object Manipulation (G-DOOM). To tackle the challenge of many DoFs and complex dynamics, G-DOOM approximates a deformable object as a sparse set of interacting keypoints and learns a graph neural network that captures abstractly the geometry and interaction dynamics of the keypoints. Further, to tackle the perceptual challenge, specifically, object self-occlusion, G-DOOM adds a recurrent neural network to track the keypoints over time and condition their interactions on the history. We then train the resulting recurrent graph dynamics model through contrastive learning in a high-fidelity simulator. For manipulation planning, G-DOOM explicitly reasons about the learned dynamics model through model-predictive control applied at each of the keypoints. We evaluate G-DOOM on a set of challenging cloth and rope manipulation tasks and show that G-DOOM outperforms a state-of-the-art method. Further, although trained entirely on simulation data, G-DOOM transfers directly to a real robot for both cloth and rope manipulation in our experiments.

研究の動機と目的

• 変形性オブジェクト操作における高次元的かつ非線形的なダイナミクスの課題に取り組むこと。特に、布やロープに対して。
• 視覚的観測におけるキーポイント追跡におけるオブジェクトの自己遮蔽といった知覚的困難を克服すること。
• グラフベースのニューラルネットワークアーキテクチャを用いて、一般化可能でダイナミクスに配慮した変形性オブジェクトの表現を学習すること。
• 学習されたダイナミクスモデルに裏付けられたモデル予測制御により、効果的な運動計画を可能にすること。
• ドメインランダム化や微調整なしに、シミュレーションから現実世界のロボット操作へのゼロショット転送を達成すること。

提案手法

• 自由度を低減するために、相互作用するキーポイントのスパarsな集合として変形性オブジェクトを表現する。
• 潜在空間におけるキーポイント間の幾何的およびダイナミカルな相互作用を、グラフニューラルネットワークでモデル化する。
• 時間的整合性を維持し、歴史的状態に条件づけてキーポイントの相互作用を制御するため、再帰的ニューラルネットワークを統合する。これにより、遮蔽に対する耐性が向上する。
• 高精度な物理シミュレータを用いて、対照的学習により、分離可能で予測可能なダイナミクス表現を学ぶことによって、グラフ-再帰的モデルを訓練する。
• 学習されたダイナミクスモデルを用いて、各キーポイントでモデル予測制御を適用し、制御ポリシーを生成する。
• 多様な操作行動下で将来の状態を正確に予測できるように、対照的目的を用いたエンドツーエンドの訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 学習されたグラフベースのダイナミクスモデルは、布やロープのような複雑で非線形的な挙動を効果的に表現できるか？
• RQ2 再帰的コンponentは、自己遮蔽下でのキーポイント追跡および相互作用モデリングをどの程度改善できるか？
• RQ3 ドメインランダム化や微調整なしに、シミュレーションで訓練されたダイナミクスモデルは現実世界のロボット操作にどの程度一般化できるか？
• RQ4 学習されたダイナミクスに基づくモデル予測制御は、挑戦的な操作タスクで高い性能を達成できるか？
• RQ5 対照的事前学習は、ダイナミクスモデルの一般化性および耐性にどのような影響を与えるか？

主な発見

• G-DOOMは、シミュレーションにおける布やロープの操作タスクのスイートにおいて、最先端の手法を上回る性能を発揮した。
• 本モデルは、実世界のロボットプラットフォームへの直接的なゼロショット転送を、布およびロープの両方の操作で達成した。微調整は一切不要であった。
• 再帰的トラッキングの統合により、自己遮蔽下でのキーポイントの安定性および相互作用モデリングが顕著に向上した。
• 対照的事前学習は、教師あり代替手法と比較して、より耐性があり一般化可能なダイナミクス表現をもたらした。
• 学習されたグラフダイナミクスに基づくモデル予測制御により、正確で長時間にわたる操作ポリシーの実現が可能になった。
• 本手法は、多様なオブジェクト形状や操作戦略にわたり高い性能を維持し、強力な一般化能力を示した。