[論文レビュー] Skill Learning by Autonomous Robotic Playing using Active Learning and Creativity

Simon Hangl, Vedran Dunjko+2 more|arXiv (Cornell University)|Jun 26, 2017

Robot Manipulation and Learning参考文献 56被引用数 15

ひとこと要約

本論文では、能動的探索と創造性を活用して事前学習済みの操作スキルの適用範囲を自律的に拡張できるハイブリッド強化学習フレームワークを提案する。自律的な遊びの過程で環境モデルを学習することで、情報量の多い状態を優先し、創造的に新しい準備行動を組み合わせることで、学習効率を著しく向上させ、タワー分解のような従来不可能とされていたタスクの解決を可能にする。

ABSTRACT

We treat the problem of autonomous acquisition of manipulation skills where problem-solving strategies are initially available only for a narrow range of situations. We propose to extend the range of solvable situations by autonomous playing with the object. By applying previously-trained skills and behaviours, the robot learns how to prepare situations for which a successful strategy is already known. The information gathered during autonomous play is additionally used to learn an environment model. This model is exploited for active learning and the creative generation of novel preparatory behaviours. We apply our approach on a wide range of different manipulation tasks, e.g. book grasping, grasping of objects of different sizes by selecting different grasping strategies, placement on shelves, and tower disassembly. We show that the creative behaviour generation mechanism enables the robot to solve previously-unsolvable tasks, e.g. tower disassembly. We use success statistics gained during real-world experiments to simulate the convergence behaviour of our system. Experiments show that active improves the learning speed by around 9 percent in the book grasping scenario.

研究の動機と目的

• 事前学習済みの操作スキルの適用範囲を、より広い環境状態にまで拡張する課題に対処すること。
• 既知の基本的行動に対して、自己主導の遊びを通じて新しい状況を自律的に探索・準備できることを実現すること。
• 学習済みの環境モデルを用いて能動的学習と創造的行動生成を誘導することで、モデルフリー強化学習の学習効率を向上させること。
• 複合的な準備行動を生成することにより、従来解けなかったタスク（例：タワーディスアッセムブル）を解けるようにすること。
• 発達的ロボット工学における単純な行動連結と初期段階の目的指向計画の間のギャップを埋めること。

提案手法

• ロボットは、各ロールアウトがセンシング、準備行動、および基本的行動の実行から成るモデルフリー強化学習設定を用いる。
• 遊びの過程で、環境モデルを副次的プロダクトとして学習し、実世界のロールアウトなしにシミュレーションと計画が可能になる。
• 能動的学習は、環境モデルを用いて情報量の多いまたは未探索の知覚状態を同定し、それらへの遷移を優先することで実装される。
• 創造的行動生成は、環境モデルを用いて実現可能性と成功確率を予測することで、既知の行動を新しい順序に組み合わせることで達成される。
• センシング行動、準備行動、基本的行動からなる階層的スキル表現を採用することで、モジュラーかつスケーラブルな学習を可能にする。
• 実世界実験の成功統計を用いて、準備行動の数が増加するに従い、収束行動をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 自己主導的探索を通じて、ロボットは事前学習済みの基本的行動の適用範囲を自律的に拡張できるか？
• RQ2 学習済みの環境モデルを組み込むことで、ロボット操作におけるモデルフリー強化学習の効率はどの程度向上するか？
• RQ3 能動的学習を用いることで、ランダムな探索に比べて必要なロールアウト回数はどの程度削減できるか？
• RQ4 既知の行動の組み合わせによる創造的行動生成は、既存のスキルセットでは解けないタスクを解けるようにできるか？
• RQ5 利用可能な準備行動の数が増加するに従い、スキル学習の収束速度はどのように変化するか？また、能動的学習はこのスケーリング問題を緩和できるか？

主な発見

• 実世界の成功統計のシミュレーションにより、本物のロールアウト数が約9％削減された。
• 書籍の把持タスクでは、未訓練の環境モデルと高角度回転行動の欠落により初期段階で成功率が30–35％にとどまり、モデルの成熟後には急激に上昇した。
• 創造的行動生成により、タワー分解のような従来不可能とされていたタスクが、新しい複合準備行動の生成によって解決可能になった。
• 創造性を組み込んだ収束行動には明確なパターンが見られた：初期は遅いが、急激に改善し、最終的に100％に漸近収束する。これは、複雑な行動シーケンスの有効な探索を示している。
• 学習速度は準備行動の数に比例することが判明し、スケーラビリティの課題が顕在化したが、能動的学習がその課題を緩和はしたが、完全に解決したわけではない。
• 環境モデルにより、効果的なシミュレーションと計画が可能となり、情報量の多い状態を優先し、既知の状況での重複するロールアウトを回避できた。