[論文レビュー] Deep Variational Reinforcement Learning for POMDPs

Maximilian Igl, Luisa Zintgraf+3 more|arXiv (Cornell University)|Jun 6, 2018

Reinforcement Learning in Robotics被引用数 20

ひとこと要約

本論文では、部分的に観測可能なマルコフ決定過程（POMDP）を解くための深層変分強化学習（DVRL）を提案する。DVRLは、環境の生成モデルを学習し、潜在状態の近似的な推論を実行するために変分オートエンコーダを用いる。尤度下界（ELBO）と方策勾配損失を同時に最適化することで、時間経過に伴う情報の統合を向上させ、RNNベースのベースラインと比較してマウンテンハイクおよびちらちらと光るアーケードゲームで優れた性能を発揮する。これは、記憶に依存するのではなく、信念状態推論に依存しているためである。

ABSTRACT

Many real-world sequential decision making problems are partially observable by nature, and the environment model is typically unknown. Consequently, there is great need for reinforcement learning methods that can tackle such problems given only a stream of incomplete and noisy observations. In this paper, we propose deep variational reinforcement learning (DVRL), which introduces an inductive bias that allows an agent to learn a generative model of the environment and perform inference in that model to effectively aggregate the available information. We develop an n-step approximation to the evidence lower bound (ELBO), allowing the model to be trained jointly with the policy. This ensures that the latent state representation is suitable for the control task. In experiments on Mountain Hike and flickering Atari we show that our method outperforms previous approaches relying on recurrent neural networks to encode the past.

研究の動機と目的

• 完全な状態情報が入手できない部分観測環境における逐次的意思決定の課題に対処すること。
• 環境の潜在的ダイナミクスの生成モデルを学習することで、時間経過に伴う情報の統合を向上させること。
• 遷移関数や観測関数の事前知識がなくても、潜在状態の推論を効果的に行えるようにすること。
• ELBOと強化学習の目的関数を併用して、生成モデルと方策を同時に最適化すること。
• 信念状態推論が、複雑で高次元的かつ部分観測的な環境において、記憶ベースのRNNよりも優れた性能を発揮することを実証すること。

提案手法

• DVRLは、環境の潜在状態遷移および観測尤度を含む生成モデルを学習するために変分オートエンコーダを用いる。
• 尤度下界（ELBO）のnステップ近似を用いることで、生成モデルと方策の共同学習を可能にする。
• パーティクルベースの信念状態を維持し、逐次的モンテカルロ（SMC）推論により更新する。再サンプリングにより、劣化を防ぐ。
• 方策ネットワークは信念状態に条件付けられており、推論された潜在状態分布に基づいた行動選択が可能である。
• 強化学習（A2Cスタイルのnステップ方策勾配）とELBO最適化を組み合わせ、共有バックプロパゲーションを用いたエンドツーエンドの学習を可能にする。
• エンコーダネットワークは観測-行動履歴を処理し、潜在状態上の信念分布を出力する。不確実性はパーティクル集合を用いて明示的にモデル化される。

実験結果

リサーチクエスチョン

• RQ1 共同学習された生成モデルは、RNNベースの記憶ネットワークと比較して、POMDPにおける情報統合を改善できるか？
• RQ2 変分推論による信念状態推論を組み込むことで、部分観測環境におけるサンプル効率と性能が向上するか？
• RQ3 ELBOと方策勾配損失の共同最適化が、制御に適した潜在状態表現の質にどのように影響するか？
• RQ4 パーティクル集合のサイズと再サンプリングの影響は、DVRLの性能にどの程度及ぼされるか？
• RQ5 高次元の観測と確率的で部分的な観測を持つ環境において、DVRLはRNNベースの手法よりも一般化性能に優れるか？

主な発見

• マウンテンハイクでは、DVRLは254.00(±0.45)の報酬を達成し、RNNベースラインの238.75(±7.85)を顕著に上回った。
• ちらちらと光るアーケードゲームでは、DVRLは全テスト環境でRNNより高い報酬を達成した。ボーリングでは30.04(±0.18)、RNNでは29.53(±0.23)であった。
• アブレーションスタディの結果、ELBO目的関数を無効化（"No ELBO"）した場合、性能が急激に低下した。これは、モデル学習においてELBOの必要性を確認している。
• エンコーダを経由した勾配バックプロパゲーションを無効化（"No joint optim"）した場合、性能が低下した。これは、共同最適化の重要性を示している。
• 短いバックプロパゲーション長さはRNNに比べてDVRLにやや大きな影響を与えた。これは、DVRLが意図したとおり、記憶よりも推論に依存していることを示している。
• 1つのパーティクルよりも多くのパーティクルを用いることが性能向上に不可欠であり、単一パーティクル設定では十分な信念の不確実性を捉えられなかった。