[論文レビュー] Sample-Efficient Deep RL with Generative Adversarial Tree Search.

Kamyar Azizzadenesheli, Brandon Yang+4 more|arXiv (Cornell University)|Jun 15, 2018

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

この論文は、学習済みの環境モデルと深さ制限付きモンテカルロ木探索（MCTS）および深層Qネットワーク（DQN）を組み合わせた、サンプル効率性に優れた深層強化学習手法である生成的対抗的木探索（GATS）を提案する。バイアス・バリアンスのトレードオフやロバスト性において理論的な利点があるものの、Atari環境では標準的なDQNを上回れない。これは、学習済みモデル上での深さ制限付きMCTS計画における限界を示している。

ABSTRACT

While many recent advances in deep reinforcement learning (RL) rely on model-free methods, model-based approaches remain an alluring prospect for their potential to exploit unsupervised data to learn environment model. In this work, we provide an extensive study on the design of deep generative models for RL environments and propose a sample efficient and robust method to learn the model of Atari environments. We deploy this model and propose generative adversarial tree search (GATS) a deep RL algorithm that learns the environment model and implements Monte Carlo tree search (MCTS) on the learned model for planning. While MCTS on the learned model is computationally expensive, similar to AlphaGo, GATS follows depth limited MCTS. GATS employs deep Q network (DQN) and learns a Q-function to assign values to the leaves of the tree in MCTS. We theoretical analyze GATS vis-a-vis the bias-variance trade-off and show GATS is able to mitigate the worst-case error in the Q-estimate. While we were expecting GATS to enjoy a better sample complexity and faster converges to better policies, surprisingly, GATS fails to outperform DQN. We provide a study on which we show why depth limited MCTS fails to perform desirably.

研究の動機と目的

• 環境モデルからの自己教師付きデータを活用するサンプル効率性に優れた深層強化学習アルゴリズムの開発を目的とする。
• モデルベース計画と深層Qネットワークを木探索フレームワークで統合する有効性を調査することを目的とする。
• 学習済みモデルベース計画システムにおけるQ推定のバイアス・バリアンスのトレードオフを分析することを目的とする。
• 深さ制限付きMCTSが学習済みモデル上で標準的DQNを上回らない理由を理解することを目的とする。

提案手法

• 自己教師付きデータを用いてAtari環境の深層生成モデルを学習し、環境ダイナミクスを表現する。
• 学習済みモデル上で深さ制限付きモンテカルロ木探索（MCTS）を実行し、行動を計画する。
• MCTS木の葉ノードで深層Qネットワーク（DQN）を用いてQ値を推定し、探索と計画をガイドする。
• 環境モデルの品質と一般化性を向上させるために、生成的対抗的訓練目的を適用する。
• モデルの不確実性下でのQ推定におけるバイアス・バリアンスのトレードオフの理論的分析を実施する。
• MCTS中における実環境のインタラクションを必要としない、学習済みモデルを用いたロールアウト戦略を実装する。

実験結果

リサーチクエスチョン

• RQ1 学習済み環境モデルとMCTS、DQNを組み合わせることで、モデルフリーのDQNに比べてより高いサンプル効率性と高速収束が達成できるか？
• RQ2 モデルベース計画システムにおけるQ推定のバイアス・バリアンスのトレードオフは、性能にどのように影響するか？
• RQ3 なぜ深さ制限付きMCTSが学習済みモデル上で標準的DQNを上回らないのか？
• RQ4 連続制御設定において、学習済み生成モデルに深さ制限付きMCTSを適用した際の主な失敗モードは何か？
• RQ5 環境モデルの対抗的訓練が、GATSにおける計画性能をどの程度向上させるか？

主な発見

• バイアス・バリアンス制御における理論的利点があるにもかかわらず、GATSはAtari環境で標準的DQNを上回れない。
• 深さ制限付きMCTSの部品が、長時間スパンにわたる誤差伝搬により、非最適な計画を引き起こす。
• MCTSの葉ノードにおけるQ推定は、モデルの不正確さに敏感であり、モデルベース計画の利点を損なう。
• 生成的対抗的訓練目的の使用によりモデル品質が向上するが、深さ制限付き探索における構造的限界を補うことはできない。
• 本研究では、学習済みモデルを用いたモデルベース計画が、テストされたAtari環境ではモデルフリーのDQNに比べて inherently よりサンプル効率的ではないことが明らかになった。
• 失敗の原因は、不完全なモデル上で長時間スパンのロールアウトを実行する際、深さ制限付きMCTSが正確な価値伝搬を維持できないことに起因する。