[論文レビュー] Learning Dexterous Manipulation Policies from Experience and Imitation

Vikash Kumar, Abhishek Gupta+2 more|arXiv (Cornell University)|Nov 15, 2016

Robot Manipulation and Learning参考文献 30被引用数 39

ひとこと要約

本論文では、センサデータから得られる局所的線形モデルを用いた軌道最適化により、5本指のロボットハンドにおける機敏な操作ポリシーの学習のためのハイブリッド学習アプローチを提案する。人間の遠隔操作による模倣学習と、最近傍法またはディープラーニングによる一般化を組み合わせることで、最小限のデータでシミュレーションおよび実機ハードウェア上でも頑健な操作を達成した。約60回の試行で学習された局所的コントローラーが、グローバルポリシーに補間可能であることを示した。

ABSTRACT

We explore learning-based approaches for feedback control of a dexterous five-finger hand performing non-prehensile manipulation. First, we learn local controllers that are able to perform the task starting at a predefined initial state. These controllers are constructed using trajectory optimization with respect to locally-linear time-varying models learned directly from sensor data. In some cases, we initialize the optimizer with human demonstrations collected via teleoperation in a virtual environment. We demonstrate that such controllers can perform the task robustly, both in simulation and on the physical platform, for a limited range of initial conditions around the trained starting state. We then consider two interpolation methods for generalizing to a wider range of initial conditions: deep learning, and nearest neighbors. We find that nearest neighbors achieve higher performance. Nevertheless, the neural network has its advantages: it uses only tactile and proprioceptive feedback but no visual feedback about the object (i.e. it performs the task blind) and learns a time-invariant policy. In contrast, the nearest neighbors method switches between time-varying local controllers based on the proximity of initial object states sensed via motion capture. While both generalization methods leave room for improvement, our work shows that (i) local trajectory-based controllers for complex non-prehensile manipulation tasks can be constructed from surprisingly small amounts of training data, and (ii) collections of such controllers can be interpolated to form more global controllers. Results are summarized in the supplementary video: https://youtu.be/E0wmO6deqjo

研究の動機と目的

• 手動で設計されたコントローラーに依存せずに、高次元で複雑な機敏な操作ポリシーを学習する課題に対処すること。
• 少量の経験と人間のデモンストレーションを用いて、非捕捉的タスクのための局所フィードバックコントローラーをスケーラブルに学習する方法を開発すること。
• 補間技術を用いて局所的コントローラーを広い初期状態に一般化し、深層学習と最近傍法の両者を用いて頑健性と性能を評価すること。
• 視覚入力を排除し、体感および触覚フィードバックのみに依存するブランケット操作の可能性を実証すること。

提案手法

• 関節状態、シリンダ圧力、物体のダイナミクスなどのセンサデータから直接学習された時変化する線形ガウスモデルを用いて、軌道最適化により局所的コントローラーを学習する。
• サンプル効率と収束性を向上させるために、仮想環境での遠隔操作により収集した人間のデモンストレーションを最適化の初期化に用いる。
• 局所的ポリシーの一般化に2つの補間手法を用いる：(1) 触覚および体感フィードバックから時間不変ポリシーを学習するディープニューラルネットワーク、(2) 初期物体状態に基づいて局所的コントローラーを選択する最近傍法。
• 最近傍法のための初期物体状態をモーションキャプチャで検出することで、実行開始時に時変な局所的コントローラー間の切り替えを可能にする。
• ADROITロボットプラットフォーム上で、100次元の高次元状態空間（24関節、40パルス圧力、物体の姿勢/速度）と40次元の制御空間（バルブ指令）を活用する。
• 空気圧アクチュエータとケーブル駆動ダイナミクスの複雑さにもかかわらず、正則化およびシステム同定技術を適用して、正確なデータ駆動モデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 少量の経験と人間のデモンストレーションから、複雑な非捕捉的タスクのための局所的軌道ベースコントローラーを効果的に学習できるか？
• RQ2 特に深層学習と最近傍法を用いた一般化手法が、初期状態の範囲を広げる上でどれほど効果的か？
• RQ3 視覚フィードバックに依存せず、体感および触覚センシングのみに依存して、機敏な操作ポリシーをどれほど学習できるか？
• RQ4 時間不変のニューラルネットワークポリシーと、初期状態に基づいて選択される時変な最近傍法スイッチングポリシーの間で、頑健性と成功確率の観点から性能にどのような差が生じるか？

主な発見

• 物理的ADROITプラットフォーム上で約60回の試行で学習された局所的コントローラーは、初期状態の限定的な範囲で、複雑な非捕捉的タスク（例：物体の回転）を実行できることを示した。
• 最近傍法による一般化手法は、多様な初期状態において、ディープニューラルネットワークよりも成功確率と頑健性に優れていた。
• ディープニューラルネットワークコントローラーは、視覚的入力なしに、触覚および体感フィードバックのみを用いてブランケット操作を実行できた。
• ニューラルネットワークは時間不変のポリシーを学習した一方、最近傍法は初期状態に応じて選択される時変なコントローラーを用いており、一般化と適応性の間のトレードオフを示した。
• 両方の一般化手法とも有望ではあったが、特に不安定または高次元のタスクの処理においては改善の余地があった。
• モデルベースの軌道最適化とデータ駆動型一般化を組み合わせることで、最小限のデータで実用的な機敏な操作スキルの学習が可能であると示唆された。