[論文レビュー] A Tale of Two-Timescale Reinforcement Learning with the Tightest Finite-Time Bound

Gal Dalal, Balázs Szörényi+1 more|arXiv (Cornell University)|Nov 20, 2019

Reinforcement Learning in Robotics参考文献 16被引用数 6

ひとこと要約

この論文は、GTD(0)、GTD2、TDCなどの二時刻スケール強化学習アルゴリズムにおける、既知で最もきつい有限時間収束レートの境界を提供する。ステップサイズシーケンスが $\alpha_n = n^{-\alpha}$ および $\beta_n = n^{-\beta}$ である二時刻スケールの確率的近似を分析することで、$\|\theta_n - \theta^*\| = \tilde{O}(n^{-\alpha/2})$ および $\|w_n - w^*\| = \tilde{O}(n^{-\beta/2})$ という高確率的収束レートを確立した。これらのレートは、一致する下界を用いて最適性が証明されている。

ABSTRACT

Policy evaluation in reinforcement learning is often conducted using two-timescale stochastic approximation, which results in various gradient temporal difference methods such as GTD(0), GTD2, and TDC. Here, we provide convergence rate bounds for this suite of algorithms. Algorithms such as these have two iterates, $θ_n$ and $w_n,$ which are updated using two distinct stepsize sequences, $α_n$ and $β_n,$ respectively. Assuming $α_n = n^{-α}$ and $β_n = n^{-β}$ with $1 > α> β> 0,$ we show that, with high probability, the two iterates converge to their respective solutions $θ^*$ and $w^*$ at rates given by $\|θ_n - θ^*\| = ilde{O}( n^{-α/2})$ and $\|w_n - w^*\| = ilde{O}(n^{-β/2});$ here, $ ilde{O}$ hides logarithmic terms. Via comparable lower bounds, we show that these bounds are, in fact, tight. To the best of our knowledge, ours is the first finite-time analysis which achieves these rates. While it was known that the two timescale components decouple asymptotically, our results depict this phenomenon more explicitly by showing that it in fact happens from some finite time onwards. Lastly, compared to existing works, our result applies to a broader family of stepsizes, including non-square summable ones.

研究の動機と目的

• 二時刻スケール強化学習アルゴリズムの有限時間収束解析におけるギャップを埋めること。これは、以前は明示的かつきつい境界が不足していた。
• 明示的であるだけでなく最適である収束レート境界を確立すること。下界との一致により、そのきつさが確認される。
• 従来の二乗可summableステップサイズにとどまらず、非二乗可summableなシーケンスを含むように解析を拡張すること。これにより、適用範囲が広がる。
• 二つの反復の間の分離現象（decoupling）を有限時間から成立することを有限時間的特徴づけ、漸近的ではなく、明示的に示すこと。
• 固有値、ノルム、ステップサイズ指数などの問題パラメータに依存する明示的定数を含む、非漸近的境界を導出すること。これにより、アルゴリズム設計や解析における実用的応用が可能になる。

提案手法

• ステップサイズシーケンスが $\alpha_n = n^{-\alpha}$ および $\beta_n = n^{-\beta}$ である二時刻スケールの確率的近似フレームワークを用いる。ここで $1 > \alpha > \beta > 0$ である。
• リャプノフ型解析とモーメントバウンドを活用した、誤差ダイナミクスの新しい分解を用いて、再帰的不等式系を構築する。
• 反復を有界領域内に保つために、プロジェクションに基づく解析を用いる。これにより、安定性が保証され、有限時間境界の導出が可能になる。
• 集中不等式を用いて、$\theta_n$ と $w_n$ の固定点 $\theta^*$ および $w^*$ からの期待値および高確率的偏差の境界を導出する。
• 主要な技術的イノベーションとして、二つの時刻スケールの間の相互作用を捉えるために、時間に依存する誤差項のスケーリングを導入する。
• 再帰的バウンディング技法を用いて誤差項の成長を制御し、最終的な境界における定数の明示的表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 GTD(0)、GTD2、TDC などの二時刻スケール強化学習アルゴリズムが達成可能な、最もきつい有限時間収束レートは何か？
• RQ2 一致する下界を用いて、収束レートが最適であることが証明できるか？ これにより、そのきつさが確認される。
• RQ3 従来は漸近的にのみ知られていた二つの反復の分離現象が、有限時間から成立するのか？ その定量的特徴づけは可能か？
• RQ4 解析を二乗可summableでないステップサイズシーケンスへと拡張できるか？ これは実際の応用において一般的である。
• RQ5 固有値、ノルムなどの問題パラメータに依存する明示的かつ非漸近的境界を導出できるか？ これにより、アルゴリズム設計における実用的応用が可能になるか？

主な発見

• 本論文は、既知で最もきつい有限時間収束レートを確立した：高確率的条件下で $\|\theta_n - \theta^*\| = \tilde{O}(n^{-\alpha/2})$ および $\|w_n - w^*\| = \tilde{O}(n^{-\beta/2})$ である。
• これらの境界は、一致する下界を用いて最適性が証明されており、与えられた仮定のもとで、より速い収束レートは不可能であることが確認されている。
• 二つの反復の分離現象（各反復が自らのレートで独立に収束する）は、漸近的ではなく、有限時間から成立することが、解析によって定量的に示された。
• 本解析は、従来の研究より広いクラスのステップサイズシーケンスに適用可能であり、非二乗可summableなシーケンスを含む。これにより、実用的関連性が向上した。
• 境界は明示的であり、固有値、行列のノルム、ステップサイズ指数といった解釈可能な定数を含む。これにより、アルゴリズムチューニングにおける実用的応用が可能である。
• 導出された定数は、一致する下界構築により、きつさが確認された。これにより、レートの最適性が裏付けられた。