[論文レビュー] Concentration Bounds for Two Timescale Stochastic Approximation with Applications to Reinforcement Learning

Gal Dalal, Balázs Szörényi+2 more|arXiv (Cornell University)|Mar 15, 2017

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿は、強化学習（RL）における重要なフレームワークである2時刻スケール確率的近似（SA）に対して、初めての有限標本における集中性の上限—具体的には、ロックイン確率—を提示する。本稿では、ロックイン確率を収束速度の保証に変換する指数的プロジェクション方式を導入し、ステップサイズの選択に関する新たな知見をもたらし、GTD(0)、GTD2、TDCアルゴリズムの収束速度を確立する。

ABSTRACT

Two-timescale Stochastic Approximation (SA) algorithms are widely used in Reinforcement Learning (RL). Their iterates have two parts that are updated using distinct stepsizes. In this work, we develop a novel recipe for their finite sample analysis. Using this, we provide a concentration bound, which is the first such result for a two-timescale SA. The type of bound we obtain is known as `lock-in probability'. We also introduce a new projection scheme, in which the time between successive projections increases exponentially. This scheme allows one to elegantly transform a lock-in probability into a convergence rate result for projected two-timescale SA. From this latter result, we then extract key insights on stepsize selection. As an application, we finally obtain convergence rates for the projected two-timescale RL algorithms GTD(0), GTD2, and TDC.

研究の動機と目的

• 2時刻スケール確率的近似（SA）—強化学習で広く用いられるフレームワーク—における有限標本における集中性の上限の欠如に対処すること。
• 一般条件下における2時刻スケールSAの有限標本解析のための新しい分析的レシピを開発すること。
• 時間間隔が指数的に増加する新しいプロジェクション方式を導入し、収束解析を改善すること。
• ロックイン確率を収束速度の結果に変換することで、プロジェクション付き2時刻スケールSAの収束速度を導出すること。
• 提案されたフレームワークを用いて、GTD(0)、GTD2、TDCといった主要なRLアルゴリズムの収束速度を導出すること。

提案手法

• 有限標本における2時刻スケールSAの解析のための新しい分析的レシピを提案し、集中性の上限の導出を可能にする。
• 時間間隔が指数的に増加するプロジェクション方式を導入し、時間経過に伴いプロジェクションの頻度を低下させる。
• 反復点が最適解の近傍にとどまる確率（ロックイン確率）を、主な分析的ツールとして用いる。
• 指数的プロジェクション方式の構造を活用して、ロックイン確率を収束速度の結果に変換する。
• 得られたフレームワークを応用し、プロジェクション付き2時刻スケールRLアルゴリズムの解析と収束速度の導出を行う。
• 新しい分析的フレームワーク内では、マーティングール差分列やリャプノフ関数の議論といった、確率的近似理論の標準的ツールを用いる。

実験結果

リサーチクエスチョン

• RQ1 2時刻スケール確率的近似における最初の有限標本における集中性の上限とは何か、そしてどのように導出できるか？
• RQ2 時間間隔が指数的に増加するプロジェクション間隔は、プロジェクション付き2時刻スケールSAの解析をどのように改善するか？
• RQ3 プロジェクション付き2時刻スケールSAにおいて、ロックイン確率を収束速度に変換できるか？
• RQ4 導出された収束速度の結果から、ステップサイズの選択に関するどのような知見が得られるか？
• RQ5 提案されたフレームワークを用いて、GTD(0)、GTD2、TDCの収束速度をどの程度確立できるか？

主な発見

• 本稿は、2時刻スケール確率的近似に対して、初めての有限標本における集中性の上限—具体的には、ロックイン確率—を確立する。
• 提案された指数的プロジェクション方式により、ロックイン確率から収束速度への滑らかな変換が可能となり、プロジェクション付きアルゴリズムの解析が簡素化される。
• フレームワークにより、ステップサイズパラメータに明示的な依存関係を示す、プロジェクション付き2時刻スケールSAの新たな収束速度の結果が得られる。
• 解析により、2時刻スケールRLにおける収束速度と安定性のトレードオフに関する新たな知見が得られる。
• フレームワークは、オフポリシー時系列差分学習の主要アルゴリズムであるGTD(0)、GTD2、TDCに成功裏に適用され、収束速度が導出される。
• 結果として、指数的プロジェクション方式が、標準的な固定間隔プロジェクションと比較して、よりタイトで解釈性の高い収束保証をもたらすことが示された。