[論文レビュー] Deep Reinforcement Learning

Yuxi Li|arXiv (Cornell University)|Oct 15, 2018

Blockchain Technology Applications and Security被引用数 25

ひとこと要約

この包括的なサーベイは、深層強化学習（deep RL）のコアな要素、メカニズム、応用を統合的なフレームワークに整理することで、深層学習と強化学習を統合する変革的パラダイムとしてのdeep RLを提示する。ゲームプレイ、ロボティクス、NLP分野におけるブレークスルーを強調し、アルゴリズム設計、階層的・マルチエージェントシステム、学習する学習（learning to learn）アプローチにおける主な貢献を示す。

ABSTRACT

We discuss deep reinforcement learning in an overview style. We draw a big picture, filled with details. We discuss six core elements, six important mechanisms, and twelve applications, focusing on contemporary work, and in historical contexts. We start with background of artificial intelligence, machine learning, deep learning, and reinforcement learning (RL), with resources. Next we discuss RL core elements, including value function, policy, reward, model, exploration vs. exploitation, and representation. Then we discuss important mechanisms for RL, including attention and memory, unsupervised learning, hierarchical RL, multi-agent RL, relational RL, and learning to learn. After that, we discuss RL applications, including games, robotics, natural language processing (NLP), computer vision, finance, business management, healthcare, education, energy, transportation, computer systems, and, science, engineering, and art. Finally we summarize briefly, discuss challenges and opportunities, and close with an epilogue.

研究の動機と目的

• 人工知能および機械学習の広い文脈の中で、深層強化学習（deep RL）の構造的かつ包括的な概要を提供すること。
• 深層学習フレームワーク内での強化学習の6つのコアな要素（価値関数、方策、報酬、モデル、探索対活用、表現）を特定し、説明すること。
• 深層強化学習における6つの主要なメカニズム（注目と記憶、教師なし学習、階層的強化学習、マルチエージェント強化学習、関係的強化学習、メタラーニング（学習する学習））を分析すること。
• ゲーム、ロボティクス、NLP、コンピュータビジョン、医療、ファイナンス、科学など12の主要な応用分野を調査し、deep RLの学際的インパactsを示すこと。
• 特にアルゴリズムの頑健性、実世界への展開、社会的影響に焦点を当て、deep RLにおける未解決の課題と今後の機会を特定すること。

提案手法

• 深層ニューラルネットワークを関数近似器として用い、価値関数、方策、報酬、モデル、探索対活用、表現という6つのコアな要素を通じて、deep RLを体系的に分類する。
• 注目と記憶（長時間スパンのタスクに適応）、教師なし表現学習、抽象化のための階層的強化学習、協調のためのマルチエージェント強化学習、構造的推論のための関係的強化学習、素早い適応のためのメタラーニングという6つの支援的メカニズムを導入・分析する。
• 深層Qネットワーク（DQN）、分布価値関数、アクタークリティック手法、信頼領域方策最適化（TRPO）などのdeep RL技術を用いて、逐次的意思決定問題を解決する。
• アルゴリズムの性能と一般化能力を検証するために、ベンチマーク環境と実世界の応用（例：Atariゲーム、ロボット制御、ゲームプレイ）を用いる。
• メタRL、少サンプル学習、自動ハイパーパramータ最適化（AutoML）などの学習する学習パラダイムを統合し、データの効率的利用と一般化能力を向上させる。
• モンテカルロツリー探索（MCTS）と自己対戦を組み合わせ、アルゴリズムの性能と一般化能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、強化学習における価値関数近似と方策学習をどのように向上させるか？
• RQ2 注目、記憶、メタラーニングなどのメカニズムは、deep RLエージェントがタスクや環境間で一般化するのをどのように可能にするか？
• RQ3 階層的およびマルチエージェント強化学習アーキテクチャは、複雑な環境におけるデータ収集効率とスケーラビリティをどのように向上させるか？
• RQ4 関係的および教師なし学習コンponentsは、deep RLシステムにおける推論と表現をどのように強化するか？
• RQ5 Atari、Go、ポーカーなどのゲームでブレークスルーをもたらした、主なアルゴリズム的およびアーキテクチャ的イノベーションは何か？

主な発見

• Deep Q-Network（DQN）は、人間水準のパフォーマンスでピクセルからエンドツーエンド学習を可能にする基盤的なdeep RLアルゴリズムを確立した。
• AlphaGoとAlphaZeroは、深層学習、モンテカルロツリー探索（MCTS）、自己対戦を組み合わせることで、ゴーやチェスなどの完璧情報ゲームでスーパー人間レベルのパフォーマンスを達成したことを示した。
• DeepStackは、隠れた状態を有する不完全情報・確率的ゲームであるノーリミットポーカーで人間水準のパフォーマンスを達成し、deep RLが不完全情報ゲームの解決に適していることを示した。
• 階層的およびマルチエージェント強化学習フレームワークは、ロボット操作や戦略的ゲームプレイなどの複雑で長時間スパンのタスクにおいて、データ収集効率とスケーラビリティを著しく向上させた。
• メタラーニングと学習を最適化する技術は、最小限のデータで新しいタスクに素早く適応可能にし、少サンプルおよびゼロショット強化学習の能力を前進させた。
• deep RLは、医療（治療計画）、エネルギー（スマートグリッド）、輸送（自動運転）、科学的発見（タンパク質折りたたみ）など多様な分野で強く示唆される可能性を示したが、商業的展開は依然として限定的である。