[論文レビュー] Model-Based Deep Reinforcement Learning for High-Dimensional Problems, a Survey.

Aske Plaat, Walter A. Kosters+1 more|arXiv (Cornell University)|Aug 11, 2020

Reinforcement Learning in Robotics参考文献 133被引用数 12

ひとこと要約

本調査では、高次元問題におけるモデルベース強化学習（MBRL）の包括的な分類体系を提案し、3つのアプローチに分類する：与えられた遷移に基づく計画、学習されたダイナミクスに基づく計画、エンドツーエンド学習。サンプル効率と予測性能の主な課題を特定し、潜在変数モデルなどの最近の進展をレビューし、不確実性モデリングや潜在空間を用いた転移学習を含む今後の方向性を強調する。

ABSTRACT

Deep reinforcement learning has shown remarkable success in the past few years. Highly complex sequential decision making problems have been solved in tasks such as game playing and robotics. Unfortunately, the sample complexity of most deep reinforcement learning methods is high, precluding their use in some important applications. Model-based reinforcement learning creates an explicit model of the environment dynamics to reduce the need for environment samples. Current deep learning methods use high-capacity networks to solve high-dimensional problems. Unfortunately, high-capacity models typically require many samples, negating the potential benefit of lower sample complexity in model-based methods. A challenge for deep model-based methods is therefore to achieve high predictive power while maintaining low sample complexity. In recent years, many model-based methods have been introduced to address this challenge. In this paper, we survey the contemporary model-based landscape. First we discuss definitions and relations to other fields. We propose a taxonomy based on three approaches: using explicit planning on given transitions, using explicit planning on learned transitions, and end-to-end learning of both planning and transitions. We use these approaches to organize a comprehensive overview of important recent developments such as latent models. We describe methods and benchmarks, and we suggest directions for future work for each of the approaches. Among promising research directions are curriculum learning, uncertainty modeling, and use of latent models for transfer learning.

研究の動機と目的

• 高次元制御タスクにおける深層強化学習の高いサンプル複雑性に対処すること。
• モデルベース強化学習における高容量モデルと低サンプル複雑性の間のトレードオフを克服すること。
• 最近のMBRLの進展、特に潜在ダイナミクスモデリングにおいて、構造的な分類体系を提供すること。
• 主な手法的アプローチ（与えられた遷移に基づく計画、学習された遷移に基づく計画、エンドツーエンド学習）を特定・分析すること。
• 今後の研究方向性の提案、例えばカリキュラム学習、不確実性モデリング、潜在モデルを用いた転移学習。

提案手法

• MBRL手法を3つに分類：(1) 与えられた遷移に基づく計画、(2) 学習された遷移に基づく計画、(3) ダイナミクスと計画を同時に学習するエンドツーエンド学習。
• 特に高次元状態空間と行動空間における深層ニューラルネットワークを用いた明示的ダイナミクスモデルの使用に基づいて、最近の手法を分類する。
• 潜在空間表現がモデルの複雑さを低減し、サンプル効率を向上させる役割を強調する。
• 近年のMBRL文献で用いられるベンチマーク環境と評価プロトコルをレビューし、性能と一般化能力を評価する。
• モデル予測における不確実性推定技術を分析し、耐障害性とサンプル効率の向上を図る。
• 学習されたダイナミクスモデルと統合された計画アルゴリズム（例：モンテカルロツリー探索、MDPソルバー）の統合を強調する。

実験結果

リサーチクエスチョン

• RQ1 モデルベース強化学習は、高次元環境において高い予測精度を維持しながら、どのように低サンプル複雑性を達成できるか？
• RQ2 MBRLにおける、与えられた遷移に基づく計画、学習されたダイナミクスに基づく計画、エンドツーエンド学習の間の主な違いとトレードオフは何か？
• RQ3 潜在ダイナミクスモデルは、MBRLにおけるサンプル効率と一般化性能をどの程度向上させるか？
• RQ4 学習されたダイナミクスにおける不確実性モデリングは、MBRLエージェントの耐障害性をどのように向上させるか？
• RQ5 カリキュラム学習と転移学習は、MBRLの学習をどの程度加速できるか？

主な発見

• 潜在ダイナミクスモデルは、状態空間の次元を低減しつつも予測力を維持することで、サンプル効率を顕著に向上させる。
• ダイナミクスと計画のコンponentを同時に最適化するエンドツーエンド学習アプローチは、サンプル効率と最終的な性能において、モジュラーなパイプラインを上回ることが多い。
• モデル予測における不確実性推定を組み込む手法は、実装時の耐障害性を向上させるとともに、サンプル要件を削減する。
• 段階的にタスクの複雑さを増やすカリキュラム学習戦略は、MBRLにおける収束速度の向上とより良い一般化性能をもたらす。
• 共有された潜在空間を用いた転移学習により、特に多様な環境で事前学習された場合、新しいタスクへの適応が著しく速くなる。
• ベンチマークの分析から、現在の最先端MBRL手法は、長時間スパンのタスクや高次元連続制御において依然として困難を抱えており、改善の余地が残っていることが示された。