[論文レビュー] Variational Deep Q Network

Yunhao Tang, Alp Kucukelbir|arXiv (Cornell University)|Nov 30, 2017

Reinforcement Learning in Robotics参考文献 20被引用数 8

ひとこと要約

本論文は、変分推論を用いて価値関数のパラメータを確率分布としてモデル化する強化学習フレームワーク、Variational Deep Q Network (VDQN) を提案する。これにより、効率的で体系的な探索が可能になる。変分推論損失に等価なサーヴェイゴイド目的関数を最適化することで、DQNのε-greedyやNoisyNetと比較して、大規模なチェーンMDPにおいて安定的かつ優れた性能を達成する。

ABSTRACT

We propose a framework that directly tackles the probability distribution of the value function parameters in Deep Q Network (DQN), with powerful variational inference subroutines to approximate the posterior of the parameters. We will establish the equivalence between our proposed surrogate objective and variational inference loss. Our new algorithm achieves efficient exploration and performs well on large scale chain Markov Decision Process (MDP).

研究の動機と目的

• ナチュラルな探索（ε-greedy やアクション空間のノイズ）の限界、特に体系的探索を要する困難な環境での失敗を是正すること。
• 変分推論を用いて、価値関数パラメータの不確実性を明示的にモデル化すること。
• ベルマン誤差とエントロピー正則化を組み合わせたサーヴェイゴイド目的関数を構築し、パラメータ空間のランダム化による効率的探索を可能にすること。
• 提案された目的関数と変分推論損失の理論的同等性を確立し、ブラックボックス変分推論を用いた学習が可能になるようにすること。
• スパースリワード環境、特に大規模なチェーンMDPにおける収束の改善と早期収束の防止を図ること。

提案手法

• 本手法は、価値関数パラメータθを確率変数とみなし、真の事後分布p(θ|D)を近似するための変分事後分布qϕ(θ)を導入する。
• 変分推論損失に数学的に等価なサーヴェイゴイド目的関数が導出され、ベルマン誤差とパラメータ分布のエントロピー項が組み合わされる。
• 確率的勾配降下法を用いてこの目的関数を最適化し、ブラックボックス変分推論サブルーチンを組み込んだエンドツーエンドの学習が可能になる。
• このフレームワークは、パラメータ事後分布からのサンプリングを伴う近似トマソンサンプリングとして解釈され、自然に探索を促進する。
• 訓練の安定化のため、DQNと同様に、ゆっくり更新されるターゲットネットワークを用いて価値関数を更新する。
• 本手法はパラメータ分布のエントロピーを高く維持することで、劣悪な方策への早期収束を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 価値関数パラメータを確率分布としてモデル化することで、深層強化学習における探索の効率性が向上するか？
• RQ2 提案されたサーヴェイゴイド目的関数と変分推論損失の同等性が、スパースリワード環境における安定的かつ効果的な学習を可能にするか？
• RQ3 大規模なチェーンMDPにおいて、VDQNはε-greedyを用いたDQNやNoisyNetと比較して、収束速度と性能で優れているか？
• RQ4 パラメータ分布の高いエントロピーが、長時間スパンのタスクにおける早期収束を防ぎ、体系的探索を可能にするか？
• RQ5 パラメータ分布の不確実性が、チェーンMDPにおける状態訪問パターンと方策学習に与える影響は何か？

主な発見

• N ≤ 70 のチェーンMDPでは、VDQNは平均して500エピソード（50イテレーション）以内に最適方策に収束し、安定的で効率的な学習を示す。
• N ≥ 100 の場合、VDQNは時間の経過とともに着実に改善を続けるが、DQNやNoisyNetは収束せず、振動的挙動を示す。
• N=32 のチェーンMDPでは、パラメータ空間のランダム化による一貫した探索のおかげで、VDQNはすべての状態、特に最も遠い状態 s_N に対しても高い訪問確率を維持する。
• DQNはε-greedy探索によるモーメンタムが不十分なため、s_{N/2}以降の状態への訪問が抑制され、s_1 で局所最適方策に収束する。
• NoisyNetは大規模なNに対して収束が遅く、振動を示すため、明示的なエントロピー励起の欠如による探索の不安定性が示唆される。
• 状態訪問回数の分析から、VDQNは初期学習段階からも全チェーンにわたり非ゼロの訪問確率を維持するなど、体系的探索を可能にしていることが確認された。