[論文レビュー] Zap Q-Learning With Nonlinear Function Approximation

Shuhang Chen, Adithya M. Devraj+3 more|arXiv (Cornell University)|Oct 11, 2019

Reinforcement Learning in Robotics参考文献 60被引用数 8

ひとこと要約

本稿では、ニューラルネットワークを用いても一貫性と高速収束を保証する、非線形関数近似を用いたZap Q-learningを提案する。ニュートン・ラプソンにインspiredされた確率的近似フレームワークを用い、理論的安定性を非退化性条件のもとで確立し、さまざまなネットワークアーキテクチャを用いたOpenAI Gym環境においても、迅速かつロバストな収束を示す。

ABSTRACT

Zap Q-learning is a recent class of reinforcement learning algorithms, motivated primarily as a means to accelerate convergence. Stability theory has been absent outside of two restrictive classes: the tabular setting, and optimal stopping. This paper introduces a new framework for analysis of a more general class of recursive algorithms known as stochastic approximation. Based on this general theory, it is shown that Zap Q-learning is consistent under a non-degeneracy assumption, even when the function approximation architecture is nonlinear. Zap Q-learning with neural network function approximation emerges as a special case, and is tested on examples from OpenAI Gym. Based on multiple experiments with a range of neural network sizes, it is found that the new algorithms converge quickly and are robust to choice of function approximation architecture.

研究の動機と目的

• 深層強化学習の文脈において、非線形関数近似を用いたQ学習の安定性の欠如と収束の遅さに対処すること。
• 表形式および最適停止問題に限らない一般の非線形関数近似器にまで、Zap Q-learningの理論的基盤を拡張すること。
• 確率的近似理論を用いて、Zap Q-learningの厳密な安定性および一貫性解析を提供すること。
• OpenAI Gym環境における多様なニューラルネットワークアーキテクチャを用いた、アルゴリズムの実証的検証。

提案手法

• 収束の加速と一貫性の確保のため、ニュートン・ラプソンにインspiredされたベクトル場を確率的近似フレームワークに組み込む。
• Q学習問題を根の探索問題として定式化する：E[ζₙDₙ₊₁] = 0 を満たすθ*を求める。ここでDₙ₊₁は時系列差分である。
• 安定化のため、正則化付きのニュートン・ラプソンフローを用い、利得行列Gₙ₊₁ = -[∂θf(θₙ, Φₙ₊₁)]⁻¹を採用する。
• ヤコビ行列の再帰的推定を実施し、低ランク更新戦略を適用することで、1ステップあたりの計算コストをO(d³)からO(d²)に削減する。
• 訓練中の探索を実現するため、ランダム化された定常方策とε-greedy探索を組み込む。
• ρ=0.85およびn₀=100の修正されたステップサイズルールを採用し、行列逆行列における正則化に小さなε=10⁻⁶を用いる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのような非線形関数近似器を用いた場合、Zap Q-learningは一貫性と収束を維持できるか？
• RQ2 Zap Q-learningにおけるニュートン・ラプソンにインspiredされた更新ルールは、関数近似を伴う標準的Q学習と比較して、より高速な収束をもたらすか？
• RQ3 Zap Q-learningは、ニューラルネットワークアーキテクチャやハイパーパrameterの変化に対してどれほどロバストか？
• RQ4 非線形関数近似下でのZap Q-learningの理論的安定性保証は何か？
• RQ5 学習率やネットワークサイズの正確なチューニングを必要とせずに、高速収束を達成できるか？

主な発見

• 非退化性仮定のもとで、非線形関数近似を用いたZap Q-learningは一貫性を示し、表形式および最適停止問題を超えた理論的安定性を拡張する。
• 複数のOpenAI Gym環境において、ネットワークサイズやアーキテクチャの選択にかかわらず、迅速かつロバストな収束を示す。
• マウントレイン・カーやアクロボット、カートポールにおける実験では、大規模なネットワークを用いても安定した学習曲線と迅速な収束を確認した。
• 正則化付きのニュートン・ラプソンフローのおかげで、誤差項の指数的減衰が実現され、ODE近似f(wₜ) = f(w₀)e⁻ᵗによって示された。
• 定期的な利得更新により計算複雑度が低減され、O(Nd³/Nd + Nd²)の複雑度を達成し、スケーラビリティを実現した。
• さまざまなハイパーパrameter設定、特にε-greedy探索率やステップサイズルールの変更に対しても、性能が維持された。