[論文レビュー] Deep-learning in Mobile Robotics - from Perception to Control Systems: A Survey on Why and Why not.

Lei Tai, Ming Liu|arXiv (Cornell University)|Dec 21, 2016

Reinforcement Learning in Robotics参考文献 105被引用数 62

ひとこと要約

本サーベイは、制御ポリシー学習のための深層強化学習（DRL）と模倣学習に焦点を当て、モバイルロボティクスにおける深層学習の応用を検討する。DRL拡張手法、リアリティギャップ低減法、シミュレーションプラットフォーム、および模倣学習手法を分析し、ロボットの知覚から制御に至るシステム分野における現在のアプローチ、課題、研究の最前線を包括的に概説する。

ABSTRACT

Deep learning techniques have been widely applied, achieving state-of-the-art results in various fields of study. This survey focuses on deep learning solutions that target learning control policies for robotics applications. We carry out our discussions on the two main paradigms for learning control with deep networks: deep reinforcement learning and imitation learning. For deep reinforcement learning (DRL), we begin from traditional reinforcement learning algorithms, showing how they are extended to the deep context and effective mechanisms that could be added on top of the DRL algorithms. We then introduce representative works that utilize DRL to solve navigation and manipulation tasks in robotics. We continue our discussion on methods addressing the challenge of the reality gap for transferring DRL policies trained in simulation to real-world scenarios, and summarize robotics simulation platforms for conducting DRL research. For imitation leaning, we go through its three main categories, behavior cloning, inverse reinforcement learning and generative adversarial imitation learning, by introducing their formulations and their corresponding robotics applications. Finally, we discuss the open challenges and research frontiers.

研究の動機と目的

• モバイルロボティクスにおける深層学習の応用、特に制御ポリシーの学習を分析すること。
• 主な2つのパラダイム、すなわち深層強化学習（DRL）と模倣学習を検討すること。
• DRLポリシーをシミュレーションから現実世界の環境に移行させる際の課題を同定すること。
• 現在のDRLおよび模倣学習手法がロボティクスにおいて有効であるか、その限界を評価すること。
• 深層学習を用いたロボット制御分野における未解決の課題と今後の研究方向性を整理すること。

提案手法

• 従来の強化学習アルゴリズムと、深層ニューラルネットワークを用いた関数近似によるDRLへの拡張をレビューする。
• 経験リプレイ、ターゲットネットワーク、報酬形状付けといった、学習の安定性とパフォーマンスを向上させるための主要なDRLコンポonentを検討する。
• ドメインランダマイゼーション、シミュレーションから現実への移行技術、シミュレーションからシミュレーションへの適応といった、リアリティギャップ低減のための手法を分析する。
• 行動コーピング、逆強化学習、生成対抗的模倣学習に分類して模倣学習を検討し、それぞれの定式化とロボティクス分野への応用を詳述する。
• DRL研究およびポリシー学習を支援するロボットシミュレーションプラットフォーム（PyBullet、Isaac Gym、AirSimなど）を評価する。
• 実環境およびシミュレーテッド環境におけるナビゲーションおよびマニピュレーションタスクにDRLおよび模倣学習を適用した代表的文献の知見を統合する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習手法は、モバイルロボティクスにおけるエンドツーエンドの制御ポリシー学習をどのように可能にするか？
• RQ2 ロボット制御における深層強化学習のサンプル効率性と安定性を向上させるメカニズムは何か？
• RQ3 シミュレーションから現実へのポリシー移行におけるリアリティギャップの主な原因と影響は何か？
• RQ4 行動コーピング、逆RL、GAILといった異なる模倣学習アプローチは、教師のデモンストレーションからロボット行動を学ぶ際にどのように比較されるか？
• RQ5 現実世界のロボットシステムに深層学習ベースの制御ポリシーをデプロイする際の主なオープンチャレンジは何か？

主な発見

• 適切な関数近似とトレーニング技術を組み合わせることで、DRLはロボットナビゲーションおよびマニピュレーションタスクで最先端のパフォーマンスを達成している。
• ドメインランダマイゼーションやシミュレーションからシミュレーションへの適応といった技術は、リアリティギャップを顕著に低減し、シミュレーションから現実世界へのポリシー移行を改善する。
• GAILなどの模倣学習手法は、専門家のデモンストレーションから報酬関数を学習することで、複雑なタスクにおいて行動コーピングを上回る性能を示す。
• PyBullet や Isaac Gym といったシミュレーションプラットフォームは、モバイルロボティクスにおけるDRLポリシーのスケーラブルで効率的なトレーニングを可能にする。
• 進展は見られるものの、サンプル効率性、一般化性能、現実世界のロボットシステムにおける深層学習ポリシーのロバストネスの面で課題が残っている。
• 本サーベイは、モバイルロボティクスにおけるより汎用的で解釈可能かつ安全な深層学習ベースの制御ポリシーの必要性を明らかにした。