[論文レビュー] Learning Dexterous Manipulation for a Soft Robotic Hand from Human Demonstration

Abhishek Gupta, Clemens Eppner+2 more|arXiv (Cornell University)|Mar 21, 2016

Robot Manipulation and Learning参考文献 27被引用数 32

ひとこと要約

本論文は、物体中心のヒューマンデモ（物体の運動のみが提示される）から、柔軟ロボットハンド（RBO Hand 2）が、模倣のための妥当なデモを自動的に選択・統合することで、きめ細やかな操作を学習できる強化学習フレームワークを提案する。本手法は、ガイドドポリシーシェィジングを用いた新規な交互最適化スキームを採用し、一様で汎用性の高いニューラルネットワークポリシーを訓練する。このポリシーは、バルブの操作、アバカスの操作、 grasping タスクにおいて、手作業で設計されたベースラインと同等の性能を達成する。

ABSTRACT

Dexterous multi-fingered hands can accomplish fine manipulation behaviors that are infeasible with simple robotic grippers. However, sophisticated multi-fingered hands are often expensive and fragile. Low-cost soft hands offer an appealing alternative to more conventional devices, but present considerable challenges in sensing and actuation, making them difficult to apply to more complex manipulation tasks. In this paper, we describe an approach to learning from demonstration that can be used to train soft robotic hands to perform dexterous manipulation tasks. Our method uses object-centric demonstrations, where a human demonstrates the desired motion of manipulated objects with their own hands, and the robot autonomously learns to imitate these demonstrations using reinforcement learning. We propose a novel algorithm that allows us to blend and select a subset of the most feasible demonstrations to learn to imitate on the hardware, which we use with an extension of the guided policy search framework to use multiple demonstrations to learn generalizable neural network policies. We demonstrate our approach on the RBO Hand 2, with learned motor skills for turning a valve, manipulating an abacus, and grasping.

研究の動機と目的

• 正確なセンシングや作動が欠落している低コストの柔軟ロボットハンドを用いて、きめ細やかな操作を可能にすること。
• 人間のデモレーターとロボットハンドとの間の形態的不一致の課題を克服するため、物体中心のデモから学習すること。
• 手作業で設計されたコスト関数に依存せず、模倣に最も適したデモを自動的に選択・統合する手法を開発すること。
• ガイドドポリシーシェィジングを用いて、一様で汎用性のあるニューラルネットワークポリシーを訓練し、多様な初期ハンド・オブジェクト配置に一般化させること。
• RBO Hand 2 を用いて、バルブの操作、アバカスの玉の操作、 grasping といった実世界のタスクに本手法を適用すること。

提案手法

• 本手法は、人間の操作中の追跡されたオブジェクトの軌道のみを用いる物体中心のデモを用いる。ハンドの運動全般や直接的な遠隔操作を必要としない。
• 新規なアルゴリズムが、デモをコントローラーに割り当てることと、軌道中心の強化学習による最適化を交互に繰り返すことで、各初期状態に最も妥当なデモを選択可能にする。
• 本手法は、ガイドドポリシーシェィジング（GPS）を拡張し、複数の異なるデモで訓練された局所的コントローラーを統合する、一様で高次元のニューラルネットワークポリシーを訓練する。
• アルゴリズムは、妥当性に基づいてデモをコントローラーにソフト割り当てすることで、初期状態に応じて、どのデモを模倣するかを動的に選択できるようにする。
• デモ軌道とポリシー出力の間の $ l_2 $-距離コスト関数を用い、制御信号の時間的整合性を向上させるためにガウスフィルタリングを適用する。
• 本手法は、手作業で設計された報酬関数やキネスティックティーチングを一切必要とせず、ヒューマンデモデータのみを用いてエンドツーエンドでポリシーを訓練する。

実験結果

リサーチクエスチョン

• RQ1 柔軟ロボットハンドは、ハンドの運動データや直接的な遠隔操作を一切得られない状況下で、物体中心のヒューマンデモからのみ、複雑なきめ細やかな操作タスクを学習できるか？
• RQ2 ロボットの形状が人間のデモレーターと異なる状況下で、初期ハンド・オブジェクト配置が多様な場合に、ポリシーが一般化できるか？
• RQ3 形態的不一致が存在する状況下で、模倣に最も適したデモを自動的に選択・統合するためのアルゴリズム的メカニズムは何か？
• RQ4 ガイドドポリシーシェィジングを用いて訓練された一様なニューラルネットワークポリシーが、デモデータのみで、手作業で設計されたベースラインと同等の性能を達成できるか？
• RQ5 物体中心のデモからの強化学習は、バルブの操作やアバカスの操作といった実世界タスクにおいて、頑健な性能を発揮できるか？

主な発見

• 提案手法は、ボトルの grasping タスクにおいて、手作業で設計されたベースラインと同等の性能を達成し、全10試行で物体を正常に grasping した。
• アバカスタスクにおいて、本手法の学習済みポリシーは、単一デモベースラインおよび手作業で設計されたオープンループポリシーと比較して、3つのテスト位置すべてで目標位置に近づくように玉を移動させた。
• 一般化性能の観点から、オラクルポリシーを上回った。オラクルポリシーは異なる初期配置に適応するように訓練されていなかったためである。
• アルゴリズムは、妥当性に基づいてデモを適切に選択・統合し、アバカスの位置に応じて異なる指を使用する能力をロボットに与えた。これは、手作業で設計されたベースラインでは達成できなかった能力であった。
• デモ対応割り当てを伴う強化学習の適用により、ポリシーは初期状態に一般化できたが、特定の位置でのみ訓練されたコントローラーは一般化に失敗した。
• 報酬信号がスパarsityで時間的に遅延する環境（例：grasping）においても、本手法は頑健な性能を示した。