[論文レビュー] A Brief Survey of Deep Reinforcement Learning

Kai Arulkumaran, Marc Peter Deisenroth+2 more|arXiv (Cornell University)|Aug 19, 2017

Reinforcement Learning in Robotics参考文献 121被引用数 750

ひとこと要約

この論文は深層強化学習（DRL）を調査し、深層ネットが強化学習を高次元問題へスケールさせる方法を詳述し、主要な価値ベースおよび方策ベースのDRL手法（例: DQN, TRPO, A3C）をレビューし、適用事例、ベンチマーク、課題、および今後の研究方向性を論じる。

ABSTRACT

Deep reinforcement learning is poised to revolutionise the field of AI and represents a step towards building autonomous systems with a higher level understanding of the visual world. Currently, deep learning is enabling reinforcement learning to scale to problems that were previously intractable, such as learning to play video games directly from pixels. Deep reinforcement learning algorithms are also applied to robotics, allowing control policies for robots to be learned directly from camera inputs in the real world. In this survey, we begin with an introduction to the general field of reinforcement learning, then progress to the main streams of value-based and policy-based methods. Our survey will cover central algorithms in deep reinforcement learning, including the deep $Q$-network, trust region policy optimisation, and asynchronous advantage actor-critic. In parallel, we highlight the unique advantages of deep neural networks, focusing on visual understanding via reinforcement learning. To conclude, we describe several current areas of research within the field.

研究の動機と目的

• 強化学習とその課題を動機づけ、定義する。
• 深層学習がどのようにしてRLを高次元問題へスケーリングするのかを説明する。
• 価値ベース、方策ベース、および アクター-クリティック法など、DRLの中核パラダイムをレビューする。
• 代表的なDRLの成功例と一般的なベンチマークを強調する。
• DRLにおける進行中の研究方向と実用上の考慮点について論じる。

提案手法

• 強化学習の基礎とマルコフ決定プロセスの構造化された概観を提示する。
• 価値関数と方策探索のフレームワークとそれらの方程式を説明する。
• DQN、経験再生、ターゲットネットワークなどの深層DRL技術を紹介する。
• Q学習の改善（例：ダブルQ学習、分布型DQN）と方策勾配法（例：アクター-クリティック）の改善を説明する。
• 計画と学習、モデルベースとモデルフリーアプローチ、およびサンプル効率性について論じる。
• アプリケーションとベンチマーク（例：アタリ、ロボティクス）と将来の課題を調査する。

実験結果

リサーチクエスチョン

• RQ1 高次元入力から学習するための主要なDRLアプローチは何か？
• RQ2 価値ベースと方策ベースのDRL手法はどのように比較され、相補的か？
• RQ3 DRLの学習を安定させる主要な技術は何か（例：経験再生、ターゲットネットワーク）？
• RQ4 DRLの能力と限界を示すベンチマークとアプリケーションは何か？
• RQ5 今後のDRL研究の未解決課題と方向性は何か？

主な発見

• DRLは画像のような高次元の感覚入力から直接制御ポリシーを学習することを可能にする。
• AtariベンチマークとAlphaGoのような成功は、手作り特徴量を超えたDRLの可能性を示している。
• 経験再生やターゲットネットワークのような手法は、DRL学習を安定化させるために重要だった。
• ハイブリッドなアクター-クリティック法は、バイアスと分散のバランスをとるため、価値関数と方策最適化を組み合わせる。
• ディープネットは、 RLにおける次元の呪いを緩和する強力な表現を提供する。
• DRLの適用範囲はロボティクス、ゲーム、視覚運動タスクに及び、広い潜在能力と残る課題を示している。