[論文レビュー] A Survey of Behavior Learning Applications in Robotics -- State of the Art and Perspectives

Alexander Fabisch, Christoph Petzoldt+2 more|arXiv (Cornell University)|Jun 5, 2019

Robot Manipulation and Learning参考文献 237被引用数 10

ひとこと要約

本調査は、ヒューマノイドや脚式ロボットなどの複雑なシステムを対象として、ロボティクスにおける行動学習の実世界応用を検討する。行動の分類、機械学習（特に強化学習および模倣学習）の有効性の評価に加え、古典的ロボティクスと統合を図ることで、より強固で自律的なシステムを実現する必要性を提唱する。

ABSTRACT

Recent success of machine learning in many domains has been overwhelming, which often leads to false expectations regarding the capabilities of behavior learning in robotics. In this survey, we analyze the current state of machine learning for robotic behaviors. We will give a broad overview of behaviors that have been learned and used on real robots. Our focus is on kinematically or sensorially complex robots. That includes humanoid robots or parts of humanoid robots, for example, legged robots or robotic arms. We will classify presented behaviors according to various categories and we will draw conclusions about what can be learned and what should be learned. Furthermore, we will give an outlook on problems that are challenging today but might be solved by machine learning in the future and argue that classical robotics and other approaches from artificial intelligence should be integrated more with machine learning to form complete, autonomous systems.

研究の動機と目的

• キネマティックおよびセンシング的に複雑なロボットを対象として、実世界のロボットアプリケーションにおける行動学習の現状を分析すること。
• 機能的カテゴリーに基づいて学習された行動を分類し、機械学習に最も適した行動を評価すること。
• ディープラーニングの成功に起因する高い期待と、ロボット制御システムにおける実際の制限との間にあるギャップを扱うこと。
• より強固で自律的なロボットシステムを構築するために、機械学習を古典的ロボティクスおよびAI手法と効果的に統合する必要性を主張すること。
• 学習に成功した行動と、今後の研究において優先すべき行動の包括的概要を提供すること。

提案手法

• 自由度が高く、複雑なセンサモータ制御を必要とするシステムを対象として、行動学習が実装された実世界のロボットアプリケーションを広範にサーベイすること。
• 歩行、操作、ナビゲーション、社会的相互作用などの機能的カテゴリーに基づいて行動を分類すること。
• 強化学習、模倣学習、ポリシー探索といった異なる学習パラダイムが、さまざまなロボットタスクにおいて果たす役割を分析すること。
• 最先端の機械学習を実ロボットに適用する際の技術的課題（リアルタイム制約、サンプル効率、安全性など）を評価すること。
• 行動と学習コンponents（認識、行動、意思決定／反応制御）をマッピングする比較マトリクスを用い、どの側面が学習されたかを特定すること。
• アトラスロボット制御やティーボール用ロボットアームの学習といった代表的かつ画期的な研究事例を検討し、実際の制限と成功事例を示すこと。

実験結果

リサーチクエスチョン

• RQ1 ヒューマノイドや脚式ロボットなどの実際の複雑なロボットに、どの行動が実際に学習され、実装されたか？
• RQ2 特に強化学習および模倣学習を含む現在の機械学習技術は、実世界のロボットシステムにおいてどの程度、強固な行動学習を可能にしているか？
• RQ3 最先端の機械学習をロボット制御に適用する際の主な制限要因は何か。また、シミュレーション環境とはどのように異なるか？
• RQ4 どの行動が機械学習による学習に最も適しているか。逆に、古典的ロボティクスや記号的AI手法による設計がより適している行動は何か？
• RQ5 機械学習をどのようにして古典的ロボティクスおよび他のAI手法と効果的に統合することで、完全で自律的なロボットシステムを構築できるか？

主な発見

• 機械学習の大幅な進展にもかかわらず、ボストンダイナミクス社のアトラスのような高性能ロボットは、主に強化学習ではなく、古典的制御および最適化手法に依存している。
• 強化学習はロボットアームの操作（例：ティーボール）といった複雑なタスクに成功裏に適用されたが、サンプル効率の低さとリアルタイム制約が依然として大きな課題である。
• 動的運動プリミティブ（DMPs）と組み合わせた模倣学習は、ロボットアームにおける複雑な運動スキルの学習に効果を発揮した。2005年のPetersらの研究がその例である。
• 粗い地形での歩行、階段の上り下り、ボールの捕球、ドリル作業やピザの準備といった共同作業など、ハイブリッドな学習アプローチにより、これらの行動が実際に学習された。
• 実際のシステムでは、認識と行動の学習がしばしば分離されている。多くのシステムでは認識部分が別個に学習されたり、事前学習済みモデルが使用される一方、行動ポリシーはポリシー探索や模倣学習によって学習される。
• モデルベースの意思決定（遅延的制御）とリアルタイムの反応制御を、機械学習と統合することが、複雑な環境下で強固で安全かつ効率的なロボット行動を実現する上で不可欠である。