[論文レビュー] On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration

Wenlong Mou, Chris Junchi Li+3 more|arXiv (Cornell University)|Apr 9, 2020

Stochastic Gradient Optimization Techniques参考文献 43被引用数 21

ひとこと要約

本稿は、定常ステップサイズ下での線形確率的近似におけるPolyak-Ruppert平均化について、洗練された分析を提供し、ステップサイズに依存する補正項を含む正確な漸近的分散を有する中心極限定理を確立する。さらに、CLTの分散と定数の違いまで一致する非漸近的集中不等式を導出し、システム行列がHurwitzでないが固有値の実部が非負である場合でも、O(1/T)の平均二乗誤差率が成立することを証明する。

ABSTRACT

We undertake a precise study of the asymptotic and non-asymptotic properties of stochastic approximation procedures with Polyak-Ruppert averaging for solving a linear system $\bar{A} θ= \bar{b}$. When the matrix $\bar{A}$ is Hurwitz, we prove a central limit theorem (CLT) for the averaged iterates with fixed step size and number of iterations going to infinity. The CLT characterizes the exact asymptotic covariance matrix, which is the sum of the classical Polyak-Ruppert covariance and a correction term that scales with the step size. Under assumptions on the tail of the noise distribution, we prove a non-asymptotic concentration inequality whose main term matches the covariance in CLT in any direction, up to universal constants. When the matrix $\bar{A}$ is not Hurwitz but only has non-negative real parts in its eigenvalues, we prove that the averaged LSA procedure actually achieves an $O(1/T)$ rate in mean-squared error. Our results provide a more refined understanding of linear stochastic approximation in both the asymptotic and non-asymptotic settings. We also show various applications of the main results, including the study of momentum-based stochastic gradient methods as well as temporal difference algorithms in reinforcement learning.

研究の動機と目的

• 定常ステップサイズ下での線形確率的近似における平均化反復の漸近的分布の正確な特徴付けを提供すること。
• 漸近的CLT結果と非漸近的有限標本境界の間のギャップを埋めるために、CLT分散と一致する高確率的集中不等式を導出すること。
• 固有値の実部が非負であるが、システム行列がHurwitzでない場合を含む、Polyak-Ruppert平均化の理論的理解を安定系（Hurwitz）にとどまらず拡張すること。
• 洗練された分析をモーメンタムベースのSGDおよび時系列差分学習に適用し、収束性と誤差挙動に関する新たな知見を明らかにすること。

提案手法

• 定常ステップサイズ下での線形確率的近似における平均化反復の中心極限定理（CLT）を導出。漸近的分散行列にはステップサイズに比例する補正項が含まれる。
• 状態依存ノイズを扱うために、反復ダイナミクスのマルティングレット表現を用いる。観測された行列Aとベクトルbのノイズに依存する。
• 反復過程{θₜ}をマルコフ連鎖として扱い、エルゴディシティを確立することで、Lindeberg型CLTおよびエルゴディック定理の適用を可能にする。
• 誤差の2次モーメントをバインドするために、テレスコピング恒等式を適用し、非漸近的集中解析を可能にする。
• 高確率的境界を導出するために、ノイズ分布のより強い尾の仮定を課し、主項の分散がCLTと一致するようにする。
• 固有値分解と固有ベクトル行列Uによる条件数の制御を用い、ノイズが現在の反復に依存する依存性を管理する。

実験結果

リサーチクエスチョン

• RQ1 定常ステップサイズ下での線形確率的近似における平均化反復の正確な漸近的分散は何か？ そして、古典的Polyak-Ruppert形式とはどのように異なるか？
• RQ2 平均化反復に対して、非漸近的高確率的集中不等式を導出できるか？ その際、主項が漸近的分散と一致するか？
• RQ3 システム行列AがHurwitzでないが、固有値の実部が非負である場合、収束速度はどのように変化するか？
• RQ4 線形確率的近似に対する洗練された結果は、強化学習におけるモーメンタムベースのSGDおよび時系列差分学習にどのように応用できるか？
• RQ5 分析はモーメンタムの加速効果を捉えられ、近似的最適レートを有するインスタンス依存ℓ∞バインディングを提供できるか？

主な発見

• 定常ステップサイズ下での線形確率的近似におけるPolyak-Ruppert平均化に対して、中心極限定理（CLT）が確立され、漸近的分散行列は古典的Polyak-Ruppert項とステップサイズに比例する補正項の和として与えられる。
• サブガウスノイズ仮定の下で、非漸近的集中不等式が導出され、任意の方向における主項が、普遍定数の違いまで、漸近的分散と一致する。失敗確率に対する対数の多項式的依存性を有する。
• 行列Âの固有値の実部が非負（ただし、必ずしもHurwitzではない）場合、平均化反復は、スペクトルギャップに依存せず、O(1/T)の平均二乗誤差率を達成する。
• 反復誤差の2次モーメントは、固有ベクトル行列Uの条件数とステップサイズの制約を用いる新しい補題によりバインドされる。
• 強化学習における方策評価に対して、近似的最適レートを有するインスタンス依存ℓ∞バインディングが得られ、平均報酬TD学習に対してギャップに依存しない結果が得られる。
• 結果はSGDにおけるモーメンタムの加速効果を説明し、非線形設定における線形化確率的近似の洗練された理論的理解を提供する。