[論文レビュー] Finite Time Analysis of Linear Two-timescale Stochastic Approximation with Markovian Noise

Maxim Kaledin, Éric Moulines+3 more|arXiv (Cornell University)|Feb 4, 2020

Probabilistic and Robust Engineering Design参考文献 25被引用数 26

ひとこと要約

本稿は、マルコフノイズ下での線形2時定数スケール確率的近似について、有限時間解析を提供する。収束速度はi.i.d.ノイズの場合と同一であり、唯一の違いはマルコフ連鎖の混合時間に起因する定数の影響にとどまる。最適なステップサイズスケジューリングのもとで、期待誤差は一時的に$o(1/k^c)$、漸近的には${\cal O}(1/k)$に減少し、$\Omega(1/k)$の下界が一致する。

ABSTRACT

Linear two-timescale stochastic approximation (SA) scheme is an important class of algorithms which has become popular in reinforcement learning (RL), particularly for the policy evaluation problem. Recently, a number of works have been devoted to establishing the finite time analysis of the scheme, especially under the Markovian (non-i.i.d.) noise settings that are ubiquitous in practice. In this paper, we provide a finite-time analysis for linear two timescale SA. Our bounds show that there is no discrepancy in the convergence rate between Markovian and martingale noise, only the constants are affected by the mixing time of the Markov chain. With an appropriate step size schedule, the transient term in the expected error bound is $o(1/k^c)$ and the steady-state term is ${\cal O}(1/k)$, where $c>1$ and $k$ is the iteration number. Furthermore, we present an asymptotic expansion of the expected error with a matching lower bound of $Ω(1/k)$. A simple numerical experiment is presented to support our theory.

研究の動機と目的

• マルコフノイズ下での線形2時定数スケール確率的近似の有限時間誤差バウンドを確立すること。これは強化学習において一般的だが、理論的解析が難しい設定である。
• ノイズが従属的（マルコフ）である場合と独立同分布（i.i.d.）である場合の収束速度に関する理論的理解のギャップを埋めること。
• 上界と下界が一致する鋭い誤差バウンドを導出することで、$\mathcal{O}(1/k)$定常状態レートの最適性を確認すること。
• 理論的結果を数値実験により検証し、予測された誤差減少の挙動を示すこと。

提案手法

• 2時定数スケールスキームの線形システム表現を用いて、誤差を一時的および定常状態成分に分解する新しい手法を採用する。
• 非i.i.d.性を反映するように、時間変動型のリャプノフ関数を構築し、誤差の時間的変化を追跡する。
• 基礎となるマルコフ連鎖の混合時間特性を組み込み、依存性が収束定数に与える影響を制限する。
• 期待誤差の漸近的展開を導出し、$\mathcal{O}(1/k)$定常状態項の正確な特徴づけを可能にする。
• 上界と一致する構成を用いて、$\Omega(1/k)$の下界を確立し、レートが最適であることを証明する。
• 一時的誤差の減少を最適化するための最適ステップサイズスケジューリングを設計し、任意の$c>1$に対して$o(1/k^c)$を達成する。

実験結果

リサーチクエスチョン

• RQ1 マルコフノイズ下での線形2時定数スケール確率的近似の収束速度は、i.i.d.ノイズの場合と比較して劣化するか？
• RQ2 ノイズ過程がマルコフ連鎖である場合に、2時定数スケールスキームのタイトな有限時間誤差バウンドを導出できるか？
• RQ3 期待誤差の正確な漸近的挙動は何か？また、$\mathcal{O}(1/k)$レートはタイトか？
• RQ4 マルコフ連鎖の混合時間は、誤差バウンドにおける収束定数にどのように影響するか？
• RQ5 一時的誤差の減少を加速させつつ、$\mathcal{O}(1/k)$定常状態レートを維持できる最適なステップサイズスケジューリングを設計できるか？

主な発見

• 最適ステップサイズスケジューリングのもとで、有限時間誤差バウンドの一次的項は任意の$c>1$に対して$o(1/k^c)$に減少する。
• 定常状態誤差項は$\mathcal{O}(1/k)$であり、i.i.d.ノイズ下での最高水準のレートと一致する。
• $\mathcal{O}(1/k)$レートは最適であり、一致する下界$\Omega(1/k)$が確立された。
• マルコフ連鎖の混合時間は誤差バウンドにおける定数にのみ影響を及ぼし、収束速度に影響しない。
• 理論的誤差減少は、予測された漸近的挙動と一致する数値実験により検証された。
• 解析により、マルコフノイズはi.i.d.ノイズと比較して収束速度を遅くしないことが確認された。唯一の影響は、混合時間に起因する定数の劣化にとどまる。