[論文レビュー] Deep Reinforcement Learning for Robotic Manipulation-The state of the art

Smruti Amarjyoti|arXiv (Cornell University)|Jan 31, 2017

Reinforcement Learning in Robotics参考文献 20被引用数 57

ひとこと要約

ロボット操作のための深層強化学習（DRL）手法を行動空間（DAS vs CAS）と方策表現（SCAS vs DCAS）で整理し、主要なアルゴリズム・アーキテクチャ・実世界 vs シミュレーション実装を詳述する調査。

ABSTRACT

The focus of this work is to enumerate the various approaches and algorithms that center around application of reinforcement learning in robotic ma- ]]nipulation tasks. Earlier methods utilized specialized policy representations and human demonstrations to constrict the policy. Such methods worked well with continuous state and policy space of robots but failed to come up with generalized policies. Subsequently, high dimensional non-linear function approximators like neural networks have been used to learn policies from scratch. Several novel and recent approaches have also embedded control policy with efficient perceptual representation using deep learning. This has led to the emergence of a new branch of dynamic robot control system called deep r inforcement learning(DRL). This work embodies a survey of the most recent algorithms, architectures and their implementations in simulations and real world robotic platforms. The gamut of DRL architectures are partitioned into two different branches namely, discrete action space algorithms(DAS) and continuous action space algorithms(CAS). Further, the CAS algorithms are divided into stochastic continuous action space(SCAS) and deterministic continuous action space(DCAS) algorithms. Along with elucidating an organ- isation of the DRL algorithms this work also manifests some of the state of the art applications of these approaches in robotic manipulation tasks.

研究の動機と目的

• 従来の手作りポリシーよりもロボット操作のためのDRLの活用を動機づける。
• 離散アクション空間と連続アクション空間、及び stochastic vs deterministic policies によってDRLアプローチを整理する。
• 深層学習がどのようにエンドツーエンドの視覚運動制御とポリシー表現を可能にするかを説明する。
• シムから実機への転送、学習の安定性、サンプル効率性における実用的な考慮点を強調する。

提案手法

• DRLアルゴリズムを離散アクション空間（DAS）と連続アクション空間（CAS）に分類する。
• CASを確率的連続アクション空間（SCAS）と決定論的連続アクション空間（DCAS）にさらに細分化する。
• コアアルゴリズム（DQN、Double DQN、Dueling Networks、NAF、ポリシー勾配の変種、TRPO、DDPG）とそれらのロボティクスへの適用性を説明する。
• 深層ネットワークを用いた視覚運動制御と、学習の安定化のための経験再生について論じる。
• CNNベースのポリシー、アクタークリティックアーキテクチャ、並列/非同期学習を含む実装面を要約する。

実験結果

リサーチクエスチョン

• RQ1 離散 vs 連続アクション空間におけるロボット操作に最も効果的なDRLアルゴリズムとアーキテクチャは何か？
• RQ2 ポリシー表現（価値ベース、ポリシーベース、アクタークリティック）はリアルタイムのロボット操作タスクでどのように機能するか？
• RQ3 視覚入力からの学習とシミュレーションから実機への転送に関する課題と解決策は何か？
• RQ4 ロボティクスのDRLにおけるサンプル効率と学習安定性を向上させる方法は何か？
• RQ5 複雑な操作タスクにおける転移学習と報酬設計のギャップは何か？

主な発見

• DAS手法（例：DQN系）は離散アクションのロボット操作タスクには適しているが、連続アクション空間には課題がある。
• CAS手法（ポリシー探索、アクタークリティック）は連続的なロボット制御にはより自然であり、DDPGは主要な決定論的ポリシー勾配アプローチとして位置づけられる。
• NAFとDDPGは連続制御タスクやリアルタイムのロボット操作（到達・ドア開けなど）で強力な性能を示す。
• 経験再生とターゲットネットワークは視覚ベースのロボット制御におけるDRL学習を安定化させる。
• 非同期および並列データ収集は、ロボットの数に比例してトレーニング時間を大幅に削減し、サンプル効率を向上させる。
• 本調査は転移学習と報酬設計のギャップを特定し、時相抽象化のための逆強化学習や内発的動機付けのさらなる研究を示唆している。