[論文レビュー] Surprising Negative Results for Generative Adversarial Tree Search

Kamyar Azizzadenesheli, Brandon Yang+3 more|arXiv (Cornell University)|Jun 15, 2018

Reinforcement Learning in Robotics参考文献 47被引用数 14

ひとこと要約

この論文は、GANに基づくダイナミクスモデルを用いて環境のロールアウトを生成し、DQNを用いた価値推定で深さ制限付きモンテカルロツリー探索（MCTS）を実行する、モデルベースの深層強化学習アルゴリズムである生成的対抗的ツリー探索（GATS）を提案する。理論的にはバイアス・バリアンス制御とサンプル効率に優位性があるが、驚くべきことに、GATSはアタリ環境において標準的なDQNを上回ることができず、学習済みの生成モデルを用いた深さ制限付きMCTSに根本的な制限が存在することが明らかになった。

ABSTRACT

While many recent advances in deep reinforcement learning (RL) rely on model-free methods, model-based approaches remain an alluring prospect for their potential to exploit unsupervised data to learn environment model. In this work, we provide an extensive study on the design of deep generative models for RL environments and propose a sample efficient and robust method to learn the model of Atari environments. We deploy this model and propose generative adversarial tree search (GATS) a deep RL algorithm that learns the environment model and implements Monte Carlo tree search (MCTS) on the learned model for planning. While MCTS on the learned model is computationally expensive, similar to AlphaGo, GATS follows depth limited MCTS. GATS employs deep Q network (DQN) and learns a Q-function to assign values to the leaves of the tree in MCTS. We theoretical analyze GATS vis-a-vis the bias-variance trade-off and show GATS is able to mitigate the worst-case error in the Q-estimate. While we were expecting GATS to enjoy a better sample complexity and faster converges to better policies, surprisingly, GATS fails to outperform DQN. We provide a study on which we show why depth limited MCTS fails to perform desirably.

研究の動機と目的

• アタリ環境におけるサンプル効率が高く、ロバストなモデルベースRLアルゴリズムを、深層生成モデルを用いて設計すること。
• 生成的対抗的ツリー探索（GATS）が、サンプル効率および最終的なポリシー性能において、モデルフリーなDQNを上回れるかどうかを調査すること。
• MCTS内でのQ推定におけるバイアス・バリアンストレードオフを分析し、計画品質に与える影響を評価すること。
• アタリランダムエージェント（ALE）における異なるゲームモードや難易度において、生成ダイナミクスモデル（GDM）の一般化能力とドメイン適応能力を評価すること。
• 深さ制限付きMCTSに学習済みモデルを適用しても、複雑な環境では期待される性能向上が得られない理由を解明すること。

提案手法

• GATSは、ワッサーシュタイン損失とスペクトル正規化を用いた条件付きpix2pix GANに基づく生成ダイナミクスモデル（GDM）を採用し、状態・行動ペアから高精細な次状態フレームを生成する。
• 報酬予測器（RP）は、クリッピングされた報酬[-1, 0, 1]を分類し、生成された軌道における報酬推定を可能にする。
• DQNまたはDDQNネットワークを実環境遷移データ上で学習させ、MCTSのリーフノードにおけるQ値を推定する。さらに、生成フレーム上で微調整された第二のQネットワークを用いて、実状態と生成状態の間でQ値を整合させる。
• GATSはGDMを用いてロールアウトを行い、Qネットワークを用いて価値を割り当てる深さ制限付きMCTSを実行する。木探索は上位信頼区間（UCB）によって誘導される。
• GDMは実遷移データで学習され、その後、自己生成サンプルを用いて微調整され、10ステップを超えるロールアウトの長さを延長しながらも、精度を維持する。
• ドメイン適応の評価は、あるゲームモード／難易度から別のものへGDMを転送することで行い、L1/L2損失とフレーム生成の質的分析により性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 GANベースの生成ダイナミクスモデルは、MCTSを用いてアタリ環境で効果的かつサンプル効率の高い計画を可能にするか？
• RQ2 GATSは、モデルベースRLにおいて、標準的なDQNよりも優れたサンプル複雑性と高速収束を達成するか？
• RQ3 理論的にはバイアス・バリアンス制御に優位性があるにもかかわらず、学習済み生成モデルを用いた深さ制限付きMCTSが、なぜモデルフリーDQNを上回ることができないのか？
• RQ4 GDMは、ALEにおける異なるゲームモードや難易度にどの程度一般化できるか？また、ドメイン適応のためのサンプル効率はどの程度か？
• RQ5 生成フレーム上のQ値推定と実フレーム上のQ値推定はどの程度一致するか？また、これによりMCTSの性能にどのような影響があるか？

主な発見

• 理論的にはQ推定のバイアス低減とサンプル効率の向上が期待されるが、GATSはテストしたすべてのアタリ環境で標準的DQNを上回ることができず、期待された利点が得られなかった。
• ドメイン適応の過程で、GDMは訓練およびテストセットで低いL1およびL2損失を達成したが、質的分析では、Pongのような重要なダイナミクス（例：ボールの軌道）を、スクラッチから学習した場合に正しく捉えていないことが判明した。
• GDMは新しいゲームモードや難易度へ効果的に一般化でき、数千個のサンプルで適応可能であり、Qネットワークが要する数個のオーダーもはるかに少ない。
• 実Qネットワーク（Qθ）と生成フレーム上で学習したQネットワーク（Qθ′）の間でQ値予測に顕著な差がなく、実状態と生成状態の表現が良好に一致していることが示された。
• 自己生成サンプルを用いて継続的に微調整することで、10ステップ以上のロールアウトでも品質が安定し、長時間スパンの計画においてもモデルの忠実性が保たれた。
• GDMおよびRPの性能は堅牢であったが、学習済みモデルを用いた深さ制限付きMCTSは、より良いポリシーを生成できず、計画プロセスまたは木探索における価値推定に根本的な欠陥がある可能性が示唆された。