[論文レビュー] Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations

Aravind Rajeswaran, Vikas Kumar+5 more|arXiv (Cornell University)|Sep 28, 2017

Robot Manipulation and Learning被引用数 4

ひとこと要約

本論文では、24自由度のロボットハンドを用いた複雑な器用な操作タスクのサンプル効率的な学習を可能にするために、人間のデモンストレーションをポリシー勾配学習に統合する深層強化学習手法DAPGを提案する。行動コーディングによる事前学習と正則化損失を用いたファインチューニングにより、DAPGは5時間未満のロボット経験でサンプル複雑性を低減し、報酬形状付けベースラインと比較してより頑健で人間らしい運動を示すポリシーを生成する。

ABSTRACT

Dexterous multi-fingered hands are extremely versatile and provide a generic way to perform a multitude of tasks in human-centric environments. However, effectively controlling them remains challenging due to their high dimensionality and large number of potential contacts. Deep reinforcement learning (DRL) provides a model-agnostic approach to control complex dynamical systems, but has not been shown to scale to high-dimensional dexterous manipulation. Furthermore, deployment of DRL on physical systems remains challenging due to sample inefficiency. Consequently, the success of DRL in robotics has thus far been limited to simpler manipulators and tasks. In this work, we show that model-free DRL can effectively scale up to complex manipulation tasks with a high-dimensional 24-DoF hand, and solve them from scratch in simulated experiments. Furthermore, with the use of a small number of human demonstrations, the sample complexity can be significantly reduced, which enables learning with sample sizes equivalent to a few hours of robot experience. The use of demonstrations result in policies that exhibit very natural movements and, surprisingly, are also substantially more robust.

研究の動機と目的

• 24-DoFのロボットハンドを用いた高次元の器用な操作タスクに、モデルフリーの深層強化学習をスケーリング可能にする。
• 実世界への展開に実行可能となる水準まで、器用な操作タスクのための深層強化学習のサンプル複雑性を低減する。
• デモンストレーションを通じた人間の事前知識を統合することで、ポリシーの頑健性と自然さを向上させる。
• 今後のロボット操作と強化学習研究のための、複雑な器用な操作タスクのベンチマークスイートを確立する。

提案手法

• 仮想現実を用いて収集した少量の人のデモンストレーションを用いて、行動コーディングによるポリシーの事前学習を行う。
• デモンストレーションをリプレイバッファに統合し、行動に近接するよう正則化を適用するDAPGと呼ばれるDDPGの変種を用いて、ポリシーをファインチューニングする。
• サンプル効率性と学習安定性を向上させるために、優先順位付き経験再生とnステップリターンを用いる。
• 学習されたポリシーがデモンストレーションの軌道に近づくよう促進する正則化項をポリシー勾配の目的関数に追加する。
• 物体のサイズや質量が異なる複数の環境のアンサンブルでポリシーを訓練することで、明示的に頑健性を向上させる。
• スパarsなタスク完了報酬を用いて、4つの複雑なタスク（物体の再配置、ハンド内操作、道具使用、ドア開錠）におけるパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計された報酬形状付けに依存せずに、モデルフリーの深層強化学習が24-DoFのロボットハンドを用いた複雑な器用な操作タスクを解けるか？
• RQ2 高次元制御設定における器用な操作ポリシーの学習において、人間のデモンストレーションはサンプル複雑性をどれほど低減できるか？
• RQ3 デモンストレーションを用いて訓練されたポリシーは、形状付けされた報酬で訓練されたものと比較して、より頑健で人間らしい運動を示すか？
• RQ4 物理的性質が異なる複数の環境のアンサンブルで訓練することで、器用な操作におけるポリシーの頑健性がさらに向上するか？
• RQ5 DAPGアルゴリズムは、高次元の器用な操作タスクにおいて、DDPGfDなどの既存のDRLベースラインよりも顕著にサンプル効率的か？

主な発見

• DAPGは、形状付けされた報酬で訓練を開始する場合と比較して、サンプル複雑性を最大30倍まで低減し、5時間未満のロボット経験で訓練を可能にする。
• DAPGで訓練されたポリシーは、物体の質量やサイズの変化といった環境の変動に対して、形状付けされた報酬で訓練されたものと比較して顕著に高い頑健性を示す。
• デモンストレーションの使用により、報酬形状付けだけでは指定しづらい滑らかで人間らしい運動を示すポリシーが得られる。
• DAPGは、4つのベンチマークタスクすべてでDDPGfDを上回り、収束が早く、最終的なパフォーマンスも優れている。
• 物理的性質が異なる複数の環境のアンサンブルで訓練することで、さらに頑健性が向上し、ベースライン手法が失敗するようなこの挑戦的な設定でもDAPGはポリシーを正常に学習する。
• 本研究で提示された、物体の再配置、ハンド内操作、道具使用、ドア開錠のベンチマークスイートは、今後の器用な操作研究のための現実的で挑戦的なテストベッドを提供する。