[論文レビュー] Adaptive Temporal Difference Learning with Linear Function Approximation

Tao Sun, Han Shen+2 more|arXiv (Cornell University)|Feb 20, 2020

Reinforcement Learning in Robotics参考文献 44被引用数 8

ひとこと要約

本稿では、線形関数近似を用いた適応的ステップサイズを導入した、AdaTD(0) および AdaTD(λ) と呼ばれる、収束のロバスト性を向上させる適応的時系列差分学習アルゴリズムを提案する。確率的勾配法との関連を活用し、マルコフ連鎖サンプリング下での解析により、反復複雑度 Õ(ε⁻² ln⁴(1/ε)/ln⁴(1/ρ)) の有限時間収束を証明した。これは最悪ケースにおいてTD(0)と同等の性能を示すが、特に勾配が疎な状況下で実証的な加速効果を発揮する。

ABSTRACT

This paper revisits the temporal difference (TD) learning algorithm for the policy evaluation tasks in reinforcement learning. Typically, the performance of TD(0) and TD($λ$) is very sensitive to the choice of stepsizes. Oftentimes, TD(0) suffers from slow convergence. Motivated by the tight link between the TD(0) learning algorithm and the stochastic gradient methods, we develop a provably convergent adaptive projected variant of the TD(0) learning algorithm with linear function approximation that we term AdaTD(0). In contrast to the TD(0), AdaTD(0) is robust or less sensitive to the choice of stepsizes. Analytically, we establish that to reach an $ε$ accuracy, the number of iterations needed is $ ilde{O}(ε^{-2}\ln^4\frac{1}ε/\ln^4\frac{1}ρ)$ in the general case, where $ρ$ represents the speed of the underlying Markov chain converges to the stationary distribution. This implies that the iteration complexity of AdaTD(0) is no worse than that of TD(0) in the worst case. When the stochastic semi-gradients are sparse, we provide theoretical acceleration of AdaTD(0). Going beyond TD(0), we develop an adaptive variant of TD($λ$), which is referred to as AdaTD($λ$). Empirically, we evaluate the performance of AdaTD(0) and AdaTD($λ$) on several standard reinforcement learning tasks, which demonstrate the effectiveness of our new approaches.

研究の動機と目的

• TD(0) および TD(λ) がステップサイズの選択に敏感である問題に取り組み、実用的において収束が遅くなる要因を軽減すること。
• 線形関数近似を用いた、マルコフ連鎖サンプリング下でも収束保証が得られる、適応的変種のTD(0)を形式的に証明可能に開発すること。
• 適応的フレームワークをTD(λ)に拡張し、方策評価タスクにおけるロバストかつ高速な学習を可能にすること。
• 現実的なマルコフ連鎖の仮定下で、提案された適応的アルゴリズムの有限時間収束バウンドを確立すること。
• AdaTD(0) および AdaTD(λ) の有効性を、標準的な強化学習ベンチマーク上での実証的評価により検証すること。

提案手法

• 確率的勾配法にインspiredされた適応的ステップサイズを用いた、TD(0) の適応的射影変種であるAdaTD(0)を提案する。
• 非i.i.d.なTD更新の性質を考慮し、マルコフ連鎖サンプリング下での有限時間収束を、リャプノフに基づく解析によって確立する。
• 固定された目的関数が存在しない状況下でも収束保証が得られるように、TD(0) を確率的最適化にリンクする新しい解析フレームワークを導入する。
• AdaTD(0) の反復複雑度バウンドを Õ(ε⁻² ln⁴(1/ε)/ln⁴(1/ρ)) として導出する。これは最悪ケースにおいて標準TD(0)と同等の性能を示す。
• 適応的フレームワークをTD(λ)に拡張し、収束保証とベンチマークタスク上での実証的検証を伴うAdaTD(λ)を構築する。
• 勾配およびモーメンタム項の成長を制御するための技術的補題を用いて、適応的ステップサイズ下での安定性と収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 線形関数近似を用いたTD(0)に対して、マルコフ連鎖サンプリング下で有限時間収束を保証する適応的ステップサイズ戦略を設計可能か？
• RQ2 提案されたAdaTD(0)アルゴリズムは、ステップサイズ選択への感受性を低減し、標準TD(0)と比較して収束のロバスト性が向上するか？
• RQ3 AdaTD(0) の有限時間収束速度は何か？ また、これは標準TD(0)の最悪ケース速度と比較してどうなるか？
• RQ4 適応的フレームワークをTD(λ)に拡張可能か？ また、AdaTD(λ) は収束性と性能向上を維持するか？
• RQ5 AdaTD(0) が理論的加速を達成する条件は何か？ 特に、確率的準勾配が疎な状況下で顕著になるか？

主な発見

• AdaTD(0) は、ε-精度を達成するための反復複雑度 Õ(ε⁻² ln⁴(1/ε)/ln⁴(1/ρ)) を有し、最悪ケースにおいて標準TD(0)と同等の収束速度を示す。
• ステップサイズ選択への感受性が理論的に低減され、手動によるハイパーパrameterチューニングの必要性が低下する。
• 確率的準勾配が疎な状況下では、AdaTD(0) が理論的加速を達成し、収束速度が向上する。
• AdaTD(λ) は、TD(λ) の適応的拡張として開発され、同様のマルコフ連鎖サンプリングモデル下でも収束保証が維持される。
• 標準的な強化学習タスクにおける実証的評価から、AdaTD(0) および AdaTD(λ) が非適応的対応手法を上回る収束速度と安定性を示す。
• 解析により、AdaTD(0) の収束速度は最悪ケースにおいてTD(0)のそれよりも悪化しないことが示され、有利な条件下では加速が見込まれる。