[論文レビュー] Deep Model-Based Reinforcement Learning for High-Dimensional Problems, a Survey

Aske Plaat, Walter A. Kosters+1 more|arXiv (Cornell University)|Aug 11, 2020

Reinforcement Learning in Robotics参考文献 132被引用数 7

ひとこと要約

本サーベイは、高次元問題における深層モデルベース強化学習の最近の進展を包括的に概説し、手法を3つのアプローチに分類する：与えられた遷移に基づく計画、学習されたダイナミクスモデルに基づく計画、計画と遷移のエンドツーエンド学習。潜在モデル、不確実性モデリング、カリキュラム学習といったキーテクノロジーを強調し、サンプル効率、転移学習、マルチエージェントシステムにおける今後の研究方向性を特定する。

ABSTRACT

Deep reinforcement learning has shown remarkable success in the past few years. Highly complex sequential decision making problems have been solved in tasks such as game playing and robotics. Unfortunately, the sample complexity of most deep reinforcement learning methods is high, precluding their use in some important applications. Model-based reinforcement learning creates an explicit model of the environment dynamics to reduce the need for environment samples. Current deep learning methods use high-capacity networks to solve high-dimensional problems. Unfortunately, high-capacity models typically require many samples, negating the potential benefit of lower sample complexity in model-based methods. A challenge for deep model-based methods is therefore to achieve high predictive power while maintaining low sample complexity. In recent years, many model-based methods have been introduced to address this challenge. In this paper, we survey the contemporary model-based landscape. First we discuss definitions and relations to other fields. We propose a taxonomy based on three approaches: using explicit planning on given transitions, using explicit planning on learned transitions, and end-to-end learning of both planning and transitions. We use these approaches to organize a comprehensive overview of important recent developments such as latent models. We describe methods and benchmarks, and we suggest directions for future work for each of the approaches. Among promising research directions are curriculum learning, uncertainty modeling, and use of latent models for transfer learning.

研究の動機と目的

• ロボット工学や複雑な制御タスクにおける高次元環境における深層強化学習の高いサンプル複雑性を解消すること。
• 正確なダイナミクスモデルを学習することで、環境との相互作用回数を削減するモデルベース深層RLのメカニズムを分析すること。
• 高容量の深層ネットワークをダイナミクスモデリングに訓練する際の、サンプル複雑性の増大を回避する課題を特定すること。
• 潜在表現、不確実性推定、カリキュラム学習が、サンプル効率と一般化性能の向上に果たす役割を調査すること。
• 特に転移学習とマルチエージェント設定を想定した、モデルベース深層RLにおける今後の研究の分類とロードマップを提供すること。

提案手法

• モデルベース深層RLを3つのカテゴリに分類する分類法を提案：(1) 与えられた遷移に基づく計画、(2) 学習された遷移に基づく計画、(3) 計画とダイナミクスのエンドツーエンド学習。
• 高次元観測を低次元に圧縮する潜在空間表現（例：VAE、GAN）を用いた手法をレビューし、学習可能なダイナミクスモデルの構築を検討。
• 微分可能計画コンponent（例：古典的制御アーキテクチャにインspiredされた微分可能ニューラルネットワーク）の重要性を強調。
• アンサンブルやベイジアンニューラルネットワークを用いた不確実性モデリングの統合を議論し、信頼性とサンプル効率の向上を図る。
• 段階的にタスクの複雑さを増やすカリキュラム学習戦略を提示し、高次元ドメインにおける訓練の高速化を促進。
• StarCraft や DOTA、Capture the Flag といったマルチエージェントベンチマークをレビューし、自己対戦と階層的計画を組み合わせたモデルベース手法の有効性を検証。

実験結果

リサーチクエスチョン

• RQ1 高容量の深層ネットワークをダイナミクスモデリングに効率的に訓練する方法は何か？ その際、モデルベースRLのサンプル効率の利点を損なわないようにするには？
• RQ2 潜在空間表現は、高次元制御タスクにおける一般化性能の向上とサンプル複雑性の低減にどのように寄与するか？
• RQ3 不確実性推定は、モデルベース深層RLエージェントの信頼性とサンプル効率をどのように向上させるか？
• RQ4 カリキュラム学習は、複雑な高次元環境におけるモデルベースエージェントの訓練を、どのような形で加速できるか？
• RQ5 特に潜在モデルを用いた計画とダイナミクスのエンドツーエンド学習は、どのように転移学習とマルチエージェント協調を可能にするか？

主な発見

• VAE や GAN などの潜在モデルは、高次元観測をコンactで学習可能な表現に圧縮でき、訓練の効率性を向上させた。
• 潜在ダイナミクスモデルを用いたエンドツーエンド微分可能計画は、視覚、記憶、制御を統合最適化する World Models などのタスクで成功を収めた。
• 不確実性を考慮したモデル、特にアンサンブルベースのアプローチは、予測の過信を軽減することで、サンプル効率と耐障害性を向上させた。
• カリキュラム学習と潜在モデル学習を組み合わせることで、ロボット操作やビデオゲームなど複雑な環境において、収束速度の向上と一般化性能の向上が達成された。
• StarCraft や DOTA といったマルチエージェントベンチマークは、自己対戦と階層的計画を組み合わせたモデルベースRLが、複雑な戦略的状況における協調と競争を効果的に可能にしていることを示している。
• ベンチマークは、単純なグリッドワールドから、複雑なリアルタイムストラテジーゲームやロボット操作タスクへと進化しており、分野の成熟度と複雑さの向上を反映している。