[論文レビュー] DDCO: Discovery of Deep Continuous Options for Robot Learning from Demonstrations

Sanjay Krishnan, Roy Fox+2 more|arXiv (Cornell University)|Oct 15, 2017

Reinforcement Learning in Robotics被引用数 50

ひとこと要約

DDCOはDeep Discovery of Optionsを連続制御へ拡張し、離散-連続のハイブリッドな高レベルポリシーとオプション数を選択するクロスバリデーションを導入します。デモンストレーションからロボット模倣のための深い連続オプションを学習し、シミュレーションと実機のロボットタスクでより高いサンプル効率と成功率を達成します。

ABSTRACT

An option is a short-term skill consisting of a control policy for a specified region of the state space, and a termination condition recognizing leaving that region. In prior work, we proposed an algorithm called Deep Discovery of Options (DDO) to discover options to accelerate reinforcement learning in Atari games. This paper studies an extension to robot imitation learning, called Discovery of Deep Continuous Options (DDCO), where low-level continuous control skills parametrized by deep neural networks are learned from demonstrations. We extend DDO with: (1) a hybrid categorical-continuous distribution model to parametrize high-level policies that can invoke discrete options as well continuous control actions, and (2) a cross-validation method that relaxes DDO's requirement that users specify the number of options to be discovered. We evaluate DDCO in simulation of a 3-link robot in the vertical plane pushing a block with friction and gravity, and in two physical experiments on the da Vinci surgical robot, needle insertion where a needle is grasped and inserted into a silicone tissue phantom, and needle bin picking where needles and pins are grasped from a pile and categorized into bins. In the 3-link arm simulation, results suggest that DDCO can take 3x fewer demonstrations to achieve the same reward compared to a baseline imitation learning approach. In the needle insertion task, DDCO was successful 8/10 times compared to the next most accurate imitation learning baseline 6/10. In the surgical bin picking task, the learned policy successfully grasps a single object in 66 out of 99 attempted grasps, and in all but one case successfully recovered from failed grasps by retrying a second time.

研究の動機と目的

• 高次元の観測を連続的な行動へマッピングする再利用可能で階層的なサブスキル（オプション）の学習を促進する。ロボットタスク向け。
• 離散オプションを呼び出すか、直接行動を実行するかを選択する、ハイブリッドなカテゴリカル–連続の高レベルポリシーを開発する。
• 手動チューニングなしで、発見されたオプションの数を自動的に選択するオフラインのクロスバリデーション手法を導入する。

提案手法

• 離散オプションと連続アクションというハイブリッド出力をモデル化することで、DD0フレームワークを連続制御へ拡張する。
• 潜在オプションと終了条件を伴う示範軌道の尤度を最大化するために、期待-勾配法を用いる。
• 高レベルポリシーを、オプションと直接制御のいずれを選択できるハイブリッド分布として表現し、対応する勾配を計算する。
• Foldごとにクロスバリデーション方式を適用し、最も一般化するオプションの数を選択する。

実験結果

リサーチクエスチョン

• RQ1 DDCOはデモンストレーションからロボットタスクの深い連続オプションを学習できるか？
• RQ2 ハイブリッドな高レベルポリシーは、フラットなポリシーと比較して学習効率と一般化を改善するか？
• RQ3 タスク特化の調整なしで、クロスバリデーションはオプションの数を信頼性高く選択できるか？
• RQ4 学習されたオプションは、シミュレーションと実際のロボット操作タスクでどう機能するか？

主な発見

• DDCOは3リンクアームのシミュレーションのベースライン模倣学習アプローチと比較して、約2倍〜3倍のサンプル効率を達成。
• 針挿入では、DDCO階層ポリシーは8/10の成功を達成し、ベースラインを上回った（次点の模倣ベースラインは6/10）。
• 外科用ビン積み取りでは、学習済みポリシーは99回の試行中66回で単一オブジェクトを把持し、多くの失敗から再試行で回復し、非階層的手法を上回った。
• DDCOで学習されたオプションは解釈可能で、タスクを横断して把握・再方向付け・画像駆動アクションへと異なるオプションが特化している。
• クロスバリデーションで選択したオプション数は最大タスク報酬と相関し、オフラインでのオプション数選択を可能にする。