[論文レビュー] Deep Imitation Learning for Bimanual Robotic Manipulation

Fan Xie, Alexander Chowdhury+4 more|arXiv (Cornell University)|Oct 11, 2020

Robot Manipulation and Learning参考文献 39被引用数 14

ひとこと要約

本論文では、二腕ロボット操作のための階層的ディープ関係的模倣学習（HDR-IL）という、深層模倣学習フレームワークを提案する。このフレームワークは、ロボット同士およびロボットと物体の相互作用をモデル化するための再帰的グラフニューラルネットワーク（GNN）を用いて、複雑なタスクを再利用可能な動きプリミティブに分解する。高レベルの計画者によるプリミティブの順序付けと低レベルのダイナミクスモデルを組み合わせることで、HDR-ILは困難なピッグインホールタスクにおいて29%の成功率を達成し、1%にとどまるGRU-GRUベースラインを著しく上回った。これは、連続的な状態-行動空間における関係的・階層的モデリングによって、一般化性能が向上したことを示している。

ABSTRACT

We present a deep imitation learning framework for robotic bimanual manipulation in a continuous state-action space. A core challenge is to generalize the manipulation skills to objects in different locations. We hypothesize that modeling the relational information in the environment can significantly improve generalization. To achieve this, we propose to (i) decompose the multi-modal dynamics into elemental movement primitives, (ii) parameterize each primitive using a recurrent graph neural network to capture interactions, and (iii) integrate a high-level planner that composes primitives sequentially and a low-level controller to combine primitive dynamics and inverse kinematics control. Our model is a deep, hierarchical, modular architecture. Compared to baselines, our model generalizes better and achieves higher success rates on several simulated bimanual robotic manipulation tasks. We open source the code for simulation, data, and models at: https://github.com/Rose-STL-Lab/HDR-IL.

研究の動機と目的

• 変化する物体およびロボットの初期設定に対して、二腕操作スキルの一般化を解決すること。
• 高次元連続状態-行動空間における複雑なマルチオブジェクト相互作用タスクにおけるポリシーの一般化を向上させること。
• 静的または事前定義されたプリミティブに依存するのではなく、ロボットとオブジェクト間の関係的ダイナミクスを明示的にモデル化すること。
• 高レベルの計画と低レベルのダイナミクス制御を分離する階層的でモジュラーな深層模倣学習フレームワークを開発すること。

提案手法

• フレームワークは、専門家の行動を時間的に延長された動きプリミティブに分解し、タスクの各コンponentsのモジュラーな学習を可能にする。
• 高レベルの計画者は、環境の関係的特徴に基づいて、プリミティブの順序を予測する再帰的グラフニューラルネットワーク（GNN）を用いる。
• 低レベルのプリミティブダイナミクスモデルは、GNNによってパrameter化され、ロボットアームとオブジェクト間の相互作用を捉え、各プリミティブの状態軌道を予測する。
• 長時間にわたるシーケンスにおける勾配の流れを安定化し、改善するために、GNNに残差接続を統合する。
• プリミティブのダイナミクス予測と逆運動学制御を組み合わせることで、ロボット実行に適した関節軌道を生成する。
• シミュレーションにおける専門家の行動から得られるデータを用いて、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 関係的モデリングを組み込んだ階層的模倣学習フレームワークは、二腕ロボット操作タスクにおける一般化を向上させることができるか？
• RQ2 グラフニューラルネットワークを用いてオブジェクト間およびロボット-環境相互作用をモデル化することで、ポリシーのパフォーマンスと耐性にどのような影響を与えるか？
• RQ3 高レベルの計画と低レベルのダイナミクス制御を分離することで、複雑な操作タスクにおけるサンプル効率とタスク成功確率にどの程度向上が見られるか？
• RQ4 残差接続と再帰的GNNは、長時間にわたる複数段階の操作行動を学習するためにどのように寄与するか？

主な発見

• HDR-ILはピッグインホールタスクで29%の成功率を達成し、GRU-GRUベースラインの1%と比較して28パーセンテージポイントの向上を示した。
• ResIntモデルは15%の成功率を達成し、これは残差接続が標準RNNよりもパフォーマンスを向上させることを示しているが、HDR-ILに劣る。
• HDR-ILはピッグインホールタスクのフェーズ2において優れた一般化を示し、60タイムステップでのx軸座標予測がResIntおよびGRU-GRUよりも正確であった。
• 平均ユークリッド距離誤差（0.90 ± 1.01）と角度距離（0.013 ± 0.010）がベースラインを下回り、軌道の正確性が向上していることを示した。
• x軸方向の一般化は、行動のばらつきが高いため困難であったが、HDR-ILは代替手法に比べてより優れたパフォーマンスを維持した。
• フレームワークは、複雑で長時間にわたる二腕操作タスクにおいて、より優れた耐性と正確性を示し、階層的および関係的モデリングの有効性を裏付けた。