[論文レビュー] Finite-Time Error Bounds For Linear Stochastic Approximation and TD Learning

R. Srikant, Lei Ying|arXiv (Cornell University)|Feb 3, 2019

Advanced Bandit Algorithms Research参考文献 16被引用数 42

ひとこと要約

本論文は、マルコフノイズを伴う線形確率近似に対する有限時間の平均平方誤差境界を導出し、それをTD学習に適用する。Lyapunov (Stein) methods を用いて誤差ダイナミクスを定量化する。

ABSTRACT

We consider the dynamics of a linear stochastic approximation algorithm driven by Markovian noise, and derive finite-time bounds on the moments of the error, i.e., deviation of the output of the algorithm from the equilibrium point of an associated ordinary differential equation (ODE). We obtain finite-time bounds on the mean-square error in the case of constant step-size algorithms by considering the drift of an appropriately chosen Lyapunov function. The Lyapunov function can be interpreted either in terms of Stein's method to obtain bounds on steady-state performance or in terms of Lyapunov stability theory for linear ODEs. We also provide a comprehensive treatment of the moments of the square of the 2-norm of the approximation error. Our analysis yields the following results: (i) for a given step-size, we show that the lower-order moments can be made small as a function of the step-size and can be upper-bounded by the moments of a Gaussian random variable; (ii) we show that the higher-order moments beyond a threshold may be infinite in steady-state; and (iii) we characterize the number of samples needed for the finite-time bounds to be of the same order as the steady-state bounds. As a by-product of our analysis, we also solve the open problem of obtaining finite-time bounds for the performance of temporal difference learning algorithms with linear function approximation and a constant step-size, without requiring a projection step or an i.i.d. noise assumption.

研究の動機と目的

• 線形確率近似とTD学習において、i.i.d.ノイズや射影ステップがない場合の有限時間誤差境界の必要性を示す。
• 定数ステップサイズアルゴリズムのためにLyapunov関数と drift 分析を用いて有限時間平均平方誤差境界を導出する。
• 誤差のモーメントを特徴付ける。低次モーメントは正規モーメントによって下界付きであり、高次モーメントが定常状態で存在しない可能性がある。
• 線形関数近似とマルコフノイズを用いたTD(0)およびTD(λ)への含意を説明する。

提案手法

• Markovノイズを伴い、収束極限 E[A(X_k)] → Ã および E[b(X_k)] → 0 を満たす Recursion Theta_{k+1} = Theta_k + ε (A(X_k) Theta_k + b(X_k)) をモデル化する。
• Lyapunov (Stein) drift分析 を用いて平均二乗誤差を境界づけ、対応ODEダイナミクスと関連づける。
• drift フレームワーク を拡張して誤差のすべてのモーメントを分析し、定常状態でモーメントが有限か無限かを特定する。
• 有限時間境界を定常状態の性能に結びつけ、適合するオーダーのサンプル要件を決定する。
• TD学習アルゴリズムへ結果を適用し、射影やi.i.d.ノイズの仮定なしで有限時間境界を示す。
• step-size → 0 のときの中心極限定理の挙動との関連を論じる。

実験結果

リサーチクエスチョン

• RQ1 マルコフノイズの下で線形の確率近似アルゴリズムの誤差に対して、どの程度の有限時間境界が確立できるか？
• RQ2 Lyapunov/Steinに基づく drift 分析は平均平方誤差と高次モーメントの境界をどのように導くか？
• RQ3 定常状態で射影なしの定数ステップサイズでのTD（線形関数近似）にこれらの境界を特化できるか？
• RQ4 誤差の低次・高次モーメントの定常状態での挙動はどうか？
• RQ5 有限時間境界が定常状態のオーダーと一致するためには何サンプルが必要か？

主な発見

• 一定の定数ステップサイズに対して、誤差の低次モーメントは小さく保たれ、Gaussianモーメントによって境界付けできる。
• 高次モーメントは閾値を越えると定常状態で無限になる可能性があり、指数分布尾部ではない挙動を示唆する。
• 分析は有限時間の平均平方境界を導出し、定常状態の境界に合わせるためのサンプル複雑さを特徴づける。
• この結果は、射影やi.i.d.ノイズの仮定を必要とせず、定数ステップサイズで線形関数近似を用いたTD学習に有限時間境界を得る解を提供する。
• Lyapunov drift分析とStein法を結びつけて定常状態の性能を理解し、ODE安定性と関連づける。