[論文レビュー] Tight High Probability Bounds for Linear Stochastic Approximation with Fixed Stepsize

Alain Durmus, Éric Moulines+4 more|arXiv (Cornell University)|Jun 2, 2021

Stochastic Gradient Optimization Techniques参考文献 16被引用数 8

ひとこと要約

本稿は、固定ステップサイズを用いた線形確率的近似（LSA）に対して、タイトな非漸近的高確率的バウンドを提供し、やや強いモーメント条件のもとで $1/\delta$ に対する多項式的集中を確立する。これらのバウンドがより強い仮定がなければ改善不可能であることを示し、ガウス型や指数的尾部バウンドが成立しないことを示し、ステップサイズ $\alpha$ および反復回数 $n$ に対する鋭い依存関係を導出。また、中心極限定理から得られる漸近的共分散と一致する主要項を有する。

ABSTRACT

This paper provides a non-asymptotic analysis of linear stochastic approximation (LSA) algorithms with fixed stepsize. This family of methods arises in many machine learning tasks and is used to obtain approximate solutions of a linear system $\bar{A}θ= \bar{b}$ for which $\bar{A}$ and $\bar{b}$ can only be accessed through random estimates $\{({\bf A}_n, {\bf b}_n): n \in \mathbb{N}^*\}$. Our analysis is based on new results regarding moments and high probability bounds for products of matrices which are shown to be tight. We derive high probability bounds on the performance of LSA under weaker conditions on the sequence $\{({\bf A}_n, {\bf b}_n): n \in \mathbb{N}^*\}$ than previous works. However, in contrast, we establish polynomial concentration bounds with order depending on the stepsize. We show that our conclusions cannot be improved without additional assumptions on the sequence of random matrices $\{{\bf A}_n: n \in \mathbb{N}^*\}$, and in particular that no Gaussian or exponential high probability bounds can hold. Finally, we pay a particular attention to establishing bounds with sharp order with respect to the number of iterations and the stepsize and whose leading terms contain the covariance matrices appearing in the central limit theorems.

研究の動機と目的

• 固定ステップサイズを用いた線形確率的近似（LSA）の漸近的・非漸近的解析のギャップを埋めること。
• ステップサイズ $\alpha$、反復回数 $n$、信頼水準 $\delta$ に対してタイトな高確率的バウンドを導出すること。
• 多項式的集中バウンドが最小限の仮定のもとで必要となる条件を確立し、最小限の仮定のもとでガウス型や指数的尾部バウンドが成立しないことを示すこと。
• スペクトル半径が 1 より小さい非対称行列に対しても適用可能な、ランダム行列積の新しいモーメント解析を提供すること。
• 導出されたバウンドが、ランダム行列列 $\{\mathbf{A}_n\}$ に対して追加の仮定がなければ改善不可能であることを示すこと。

提案手法

• i.i.d. ランダム行列 $\mathbf{Y}_1, \dots, \mathbf{Y}_n$ の積に対するモーメントバウンドを導出し、$\mathbb{E}[\mathbf{Y}_n]$ のスペクトル半径が 1 より小さい場合に、非対称行列へと先行研究を拡張する。
• これらのモーメントバウンドを用いて、$\bar{A}\theta = \bar{b}$ を解くための再帰 $\theta_{n+1} = \theta_n - \alpha(\mathbf{A}_{n+1}\theta_n - \mathbf{b}_{n+1})$ を分析する。
• 高確率的バウンド $\mathbb{P}\left(|u^\top(\theta_n - \theta^\star)| \leq c\{\sqrt{\alpha u^\top\boldsymbol{\Sigma}u} + \alpha\}\sqrt{\log(1/\delta)} + c\{\rho_\alpha^n + \alpha p_0^2\}\delta^{-1/p_0}\right) \geq 1 - \delta$ を確立し、$p_0 = o(\alpha^{-1/4})$ とする。
• $\delta^{-1/p_0}$ 依存性が最小限の仮定のもとでタイトであることを証明し、$1/\delta$ に対する対数的尾部が最小限の仮定のもとで成立しないことを示す。
• 小さな $\alpha$ における LSA 再帰の定常分布 $\pi_\alpha$ を分析し、漸近的共分散 $\boldsymbol{\Sigma}$ を持つ中心極限定理を証明する。
• martingale 増分 $\Delta M_{n,k} = \alpha_n^{1/2} u^\top G_{k:0}^{(n)} \varepsilon_{k-1}$ を用いた新しい分解を導出し、正規化誤差の弱収束をガウス極限へと確立する。

実験結果

リサーチクエスチョン

• RQ1 固定ステップサイズ LSA の高確率的バウンドは、先行研究より弱い仮定のもとで導出可能か？
• RQ2 $\{\mathbf{A}_n, \mathbf{b}_n\}$ に対する最小限のモーメント条件のもとで、バウンドにおける $1/\delta$ に対する多項式的依存性は避けられないか？
• RQ3 バウンドにおけるステップサイズ $\alpha$ および反復回数 $n$ に対する依存関係は、中心極限定理から得られる漸近的共分散 $\boldsymbol{\Sigma}$ と一致するように鋭くできるか？
• RQ4 導出されたバウンドは、ランダム行列 $\{\mathbf{A}_n\}$ に対するより強い仮定がなければ改善不可能であるという意味でタイトか？
• RQ5 小さな $\alpha$ に対して LSA 再帰は定常分布 $\pi_\alpha$ を有するか？ また、$\alpha \downarrow 0$ のとき中心極限定理を満たすか？

主な発見

• 本稿は、最小限の仮定のもとで $1/\delta$ に対する多項式的依存性、具体的には $p_0 = o(\alpha^{-1/4})$ における $\delta^{-1/p_0}$ を有する高確率的バウンドを確立し、これが最小限の仮定のもとでタイトであることを示した。
• バウンドの主要項は $c\{\sqrt{\alpha u^\top\boldsymbol{\Sigma}u} + \alpha\}\sqrt{\log(1/\delta)}$ であり、中心極限定理からのスケーリングと一致する。
• 反例により、最小限の仮定のもとで $1/\delta$ に対する対数的または指数的尾部に改善できないことが示された。
• 小さな $\alpha$ に対して LSA 再帰は一意な定常分布 $\pi_\alpha$ を有し、正規化誤差 $\alpha^{-1/2}(\theta_n - \theta^\star)$ は共分散 $\boldsymbol{\Sigma}$ のガウス分布に弱収束する。
• スペクトル半径の条件のもとで、$\mathbb{E}[\|\mathbf{Y}_n \cdots \mathbf{Y}_1\|^p]$ の一様 $L^p$ バウンドを提供する、非対称ランダム行列への行列積のモーメント解析を拡張した。
• リャプノフ方程式で定義される漸近的共分散 $\boldsymbol{\Sigma}$ は、高確率的バウンドおよび中心極限定理の両方において自然に現れ、その統計的量としての主要な役割を確認した。