[論文レビュー] Fastest Convergence for Q-learning

Adithya M. Devraj, Sean Meyn|arXiv (Cornell University)|Jul 12, 2017

Adaptive Dynamic Programming Control参考文献 23被引用数 27

ひとこと要約

本稿では、2段階の確率的近似を用いてニュートン・ラプソンの動的挙動を模倣することで、最速の収束を達成する行列利得を用いたQ学習アルゴリズム、Zap Q学習を提案する。この手法は漸近的分散を最適化し、特に非理想なパラメータ化された設定において、標準的Q学習やスカラ利得法よりも優れた有限時間性能を示す。数値実験でもその有効性が検証された。

ABSTRACT

The Zap Q-learning algorithm introduced in this paper is an improvement of Watkins' original algorithm and recent competitors in several respects. It is a matrix-gain algorithm designed so that its asymptotic variance is optimal. Moreover, an ODE analysis suggests that the transient behavior is a close match to a deterministic Newton-Raphson implementation. This is made possible by a two time-scale update equation for the matrix gain sequence. The analysis suggests that the approach will lead to stable and efficient computation even for non-ideal parameterized settings. Numerical experiments confirm the quick convergence, even in such non-ideal cases. A secondary goal of this paper is tutorial. The first half of the paper contains a survey on reinforcement learning algorithms, with a focus on minimum variance algorithms.

研究の動機と目的

• ワトキンスのQ学習の収束が遅いことと、非理想なパラメータ化された設定での不安定性を解消すること。
• 確率的近似理論を基盤として、最適な漸近的分散を有するQ学習アルゴリズムを設計すること。
• 2段階の時間スケールによる更新を用いて、決定的ニュートン・ラプソンの動的挙動を模倣することで、一時的挙動を改善すること。
• スカラ利得法や平均化に基づくQ学習手法の理論的裏付けに基づいた安定的かつ効率的な代替手法を提供すること。
• 非理想な関数近似設定における将来的な理論基盤を構築すること。

提案手法

• アルゴリズムは、Q関数の勾配の逆ヘッセ行列を追跡する2段階の時間スケールの確率的近似フレームワークを用いる。
• 行列利得は、漸近的分散を最小化する最適な利得系列に適合するように適応的に更新される。
• この手法は、アルゴリズムの一時的挙動が決定的ニュートン・ラプソン系に類似していることを示すODE解析に基づいている。
• 漸近的共分散はリャプノフ方程式の解として導出され、分散の最適化が可能になる。
• 真のQ関数がパラメータ化された関数クラスに含まれない場合でも、安定性と効率性を維持するように設計されている。
• 有限ホライズンおよび平均報酬設定の下で複数回のシミュレーションを実施し、性能を実験的に検証した。

実験結果

リサーチクエスチョン

• RQ1 漸近的分散を最適化することで、行列利得Q学習アルゴリズムは標準的Q学習よりも高速な収束を達成できるか？
• RQ2 行列利得の2段階の時間スケール更新は、非理想なパラメータ化された設定における一時的挙動と安定性にどのように影響するか？
• RQ3 漸近的共分散は、強化学習アルゴリズムの有限時間性能をどの程度正確に予測できるか？
• RQ4 最適Q関数がパラメータ化された関数クラスの外にある設定に対しても、Zap Q学習フレームワークを拡張可能か？
• RQ5 Polyak-Ruppert平均化法やスカラ利得法と比較して、Zap Q学習は一時的性能および外れ値挙動においてどのように差を示すか？

主な発見

• Zap Q学習は、漸近的分散が最適であり、標準的Q学習と比較してスケーリングされた共分散を顕著に低減した。
• 数値実験では、n = 2×10⁶ で、Zap Q学習は平均報酬 < 0.5 となる外れ値を500個以上からゼロに削減した。一方、g=100 のG-Q(0)は395個の外れ値を示した。
• 平均報酬 < 0.95 の場合、ρ=0.85 のZap Q学習はn = 2×10⁶ ですべての外れ値を排除したが、G-Q(0)は同じnで525個の外れ値を示した。
• アルゴリズムの一時的挙動は、ODE解析が予測した通り、決定的ニュートン・ラプソンの動的挙動と密接に一致した。
• Zap Q学習は、スカラ利得法やRPJ平均化法よりも有限時間性能で優れており、後者でさえも最適な漸近的分散を有する場合でも同様であった。
• 非理想な設定においても、安定した収束と最小限の外れ値を示したため、より広範な応用可能性が示唆された。