[論文レビュー] A Lyapunov Theory for Finite-Sample Guarantees of Asynchronous Q-Learning and TD-Learning Variants

Zaiwei Chen, Siva Theja Maguluri+2 more|arXiv (Cornell University)|Feb 2, 2021

Reinforcement Learning in Robotics参考文献 54被引用数 17

ひとこと要約

本稿では、Q学習、nステップTD、TD(λ)、V-traceを含む非同期価値ベース強化学習アルゴリズムの有限標本平均二乗収束保証を確立する統一されたリャプノフベースの枠組みを開発する。これらのアルゴリズムをマコフ連鎖確率的近似（SA）プロセスとしてモデル化することで、明示的な収束速度と標本複雑度の上限を導出し、ブートストラップ効率における長年のバイアス・バリアンストレードオフを解消する。

ABSTRACT

This paper develops an unified framework to study finite-sample convergence guarantees of a large class of value-based asynchronous reinforcement learning (RL) algorithms. We do this by first reformulating the RL algorithms as extit{Markovian Stochastic Approximation} (SA) algorithms to solve fixed-point equations. We then develop a Lyapunov analysis and derive mean-square error bounds on the convergence of the Markovian SA. Based on this result, we establish finite-sample mean-square convergence bounds for asynchronous RL algorithms such as $Q$-learning, $n$-step TD, TD$(λ)$, and off-policy TD algorithms including V-trace. As a by-product, by analyzing the convergence bounds of $n$-step TD and TD$(λ)$, we provide theoretical insights into the bias-variance trade-off, i.e., efficiency of bootstrapping in RL. This was first posed as an open problem in (Sutton, 1999).

研究の動機と目的

• 非同期価値ベース強化学習アルゴリズムにおける有限標本収束保証の欠如に対処すること。
• Q学習、nステップTD、TD(λ)、V-traceといった多様なアルゴリズムを、一つの理論的枠組みで統一的に分析すること。
• 強化学習におけるブートストラップの効率性に関する未解決問題を、バイアス・バリアンストレードオフを定量的に分析することで解消すること。
• 非同期V-traceアルゴリズムにおける最初の有限標本収束上限を提供すること。
• nステップTDおよびTD(λ)の最適なハイパーパrameter選択を明示的に示す標本複雑度上限を導出すること。

提案手法

• 非同期RLアルゴリズムを、固定点ベルマン方程式を解くマコフ連鎖確率的近似（SA）アルゴリズムとして再定式化する。
• 定数ステップサイズおよび減少ステップサイズの両状況下で、SAプロセスの平均二乗誤差上限を導出するためのリャプノフ関数解析を開発する。
• 収束速度を確立する：定数ステップサイズでは幾何的収束（精度 O(α log(1/α)))、減少ステップサイズでは O(log(k)/k^ξ)。
• SA収束フレームワークを応用し、Q学習、nステップTD、TD(λ)、V-traceの有限標本上限を導出する。
• リャプノフ解析を用いて、切り捨てレベル（V-traceにおける c̄ および ρ̄ など）がバイアスとバリアンスに果たす役割を分離・定量化する。
• γ、n、λ、および切り捨てパラメータに依存する明示的な依存関係を示す標本複雑度上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 定数ステップサイズおよび減少ステップサイズの下で、非同期Q学習の有限標本収束特性はどのように振る舞うか？
• RQ2 V-traceにおける切り捨てレベル c̄ は、アルゴリズムのバリアンスと標本複雑度にどのように影響するか？
• RQ3 nステップTD学習における最適なnの値は、バイアスとバリアンスのバランスを取るためにどれくらいか？
• RQ4 TD(λ)におけるλパラメータは、バイアス（大きなλを好む）とバリアンス（小さなλを好む）の間でどのようにトレードオフを実現するか？
• RQ5 統一されたリャプノフフレームワークを用いて、非同期RLアルゴリズムの広範なクラスに対して有限標本上限を導出できるか？

主な発見

• 定数ステップサイズを用いた非同期Q学習では、標本複雑度が O(log²(1/ε)/(ε²(1−γ)⁵N_min³)) であり、以前の境界に比べて少なくとも |S||A| 倍改善される。
• V-traceアルゴリズムの標本複雑度は O(ρ̄²(∑ᵢ₌₀ⁿ(γc̄)ⁱ)²) に比例し、c̄ がバリアンス低減の主因であることが示され、指数的爆発を避けるために c̄ ≤ 1/γ である必要がある。
• nステップTDでは、標本複雑度が n/(1−γⁿ)² に依存するため、最適なnはおおよそ min(1, 1/log(1/γ)) に近い。
• TD(λ)では、バイアスは (1−Θ(1/(1−βλ)))ᵏ として減衰する（大きなλを好む）が、バリアンスは Θ(1/[(1−βλ)log(1/(βλ))]) に比例する（小さなλを好む）ため、トレードオフが定量的に特定される。
• リャプノフ解析により、定数ステップサイズでは幾何的収束、減少ステップサイズでは多項式減衰が得られ、アルゴリズムパラメータに明示的な依存関係が示される。
• このフレームワークにより、非同期V-traceにおける最初の有限標本収束上限が得られ、オフポリシー強化学習理論における重要なギャップが解消された。