[論文レビュー] Finite Sample Analysis of Two-Timescale Stochastic Approximation with Applications to Reinforcement Learning

Gal Dalal, Balázs Szörényi+2 more|arXiv (Cornell University)|Mar 15, 2017

Simulation Techniques and Applications参考文献 21被引用数 42

ひとこと要約

本稿は、二時刻スケール確率的近似（SA）アルゴリズムの最初の有限標本解析を提示する。Variation of Parameters法に基づく新規なレシピを導入し、集中限界（ロックイン確率）を導出する。さらに、指数関数的に増加する投影間隔を持つスパース投影スキームを提案し、ロックイン確率を収束速度の結果に変換可能にする。このフレームワークにより、GTD(0)、GTD2、TDCに対する最初の有限時間収束速度が、非平方和可能でないステップサイズを含むより広いステップサイズ条件のもとで得られる。

ABSTRACT

Two-timescale Stochastic Approximation (SA) algorithms are widely used in Reinforcement Learning (RL). Their iterates have two parts that are updated using distinct stepsizes. In this work, we develop a novel recipe for their finite sample analysis. Using this, we provide a concentration bound, which is the first such result for a two-timescale SA. The type of bound we obtain is known as `lock-in probability'. We also introduce a new projection scheme, in which the time between successive projections increases exponentially. This scheme allows one to elegantly transform a lock-in probability into a convergence rate result for projected two-timescale SA. From this latter result, we then extract key insights on stepsize selection. As an application, we finally obtain convergence rates for the projected two-timescale RL algorithms GTD(0), GTD2, and TDC.

研究の動機と目的

• 強化学習（RL）における二時刻スケール確率的近似（SA）アルゴリズムの有限標本解析の欠如に対処すること。
• 既存のODEベースの漸近的手法を超える、線形二時刻スケールSAの有限標本解析のための新しい解析的レシピを開発すること。
• ロックイン確率の境界と収束速度の結果を結びつけるために、指数関数的に増加する間隔を持つ新規なスパース投影スキームを設計すること。
• GTD(0)、GTD2、TDCを含む、投影付き二時刻スケールRLアルゴリズムに対する最初の有限時間収束速度を導出すること。
• 標準的なステップサイズの平方和可能性仮定を緩和し、定数またはゆっくり減衰するステップサイズ（例：n^(-α)，αが0に近い）を含む解析を可能にすること。

提案手法

• Variation of Parameters法を用いて、より緊密な境界を得るためのSA反復の変換を提案する。
• 新規な解析的レシピを用いて、線形二時刻スケールSAの集中限界（ロックイン確率）を導出する。
• 時間経過とともに反復間隔が倍増するスパース投影スキームを導入する。
• スパース投影スキームを用いて、ロックイン確率の境界を、投影付き二時刻スケールSAの収束速度の結果に洗練されて変換する。
• GTD(0)、GTD2、TDCにこのフレームワークを適用し、各アルゴリズムに対して明示的な定数を用いて仮定が満たされることを検証する。
• 反復の極限ODE軌道からの逸脱を制御するために、Alekseevの公式と尾確率の境界に依存する。

実験結果

リサーチクエスチョン

• RQ1 先行研究にそのような結果がないにもかかわらず、二時刻スケールSAの有限標本解析を構築することは可能か？
• RQ2 新規な変換とVariation of Parameters法を用いることで、SA反復と極限ODEとの距離に関するより緊密な境界を導出可能か？
• RQ3 ロックイン確率の境界を収束速度の結果に変換可能な、新しい投影スキームを設計可能か？
• RQ4 提案されたツールにより、GTD(0)、GTD2、TDCのような投影付き二時刻スケールRLアルゴリズムに対する最初の有限時間収束速度が得られるか？
• RQ5 この解析を、定数またはゆっくり減衰するステップサイズ（例：n^(-α)，αが0に近い）を含む非平方和可能ステップサイズにまで拡張可能か？

主な発見

• 本稿は、二時刻スケールSAに対する最初の集中限界（ロックイン確率）を確立し、反復が最適解に近接する確率的保証（有限標本）を提供する。
• 提案されたスパース投影スキームにより、ロックイン確率から収束速度への滑らかな変換が可能となり、適切なステップサイズのもとで収束速度がO(max(n^(-β/2)√(ln(n/δ)), n^(β−α)))のスケーリングを示す。
• GTD(0)、GTD2、TDCに対して、真の二時刻スケール形式のもとで、最初の有限時間収束速度が得られる。これは一般のステップサイズ条件のもとで成立する。
• 解析は標準的なステップサイズの平方和可能性仮定を緩和し、定数またはゆっくり減衰するステップサイズ（例：n^(-α)，αが0に近い）を含む解析に適用可能である。
• この手法は線形および非線形二時刻スケールSAの両方に対して有効であることが示され、変換技術は線形設定を超えて一般化可能である可能性を示唆する。
• GTD2およびTDCのノイズおよび行列に関する仮定に対して明示的な定数が導出され、このフレームワークがこれらのRLアルゴリズムに適用可能であることが確認された。