[论文解读] Tight High Probability Bounds for Linear Stochastic Approximation with Fixed Stepsize

Alain Durmus, Éric Moulines+4 more|arXiv (Cornell University)|Jun 2, 2021

Stochastic Gradient Optimization Techniques参考文献 16被引用 8

一句话总结

本文为固定步长的线性随机逼近（LSA）提供了紧致的非渐近高概率界，在较弱的矩条件假设下，建立了关于 $1/\delta$ 的多项式浓度。证明了在不施加更强假设的前提下，这些界无法进一步改进，表明不存在高斯或指数尾部界，并推导出关于步长 $\alpha$ 和迭代次数 $n$ 的精确依赖关系，其主导项与中心极限定理中的渐近协方差一致。

ABSTRACT

This paper provides a non-asymptotic analysis of linear stochastic approximation (LSA) algorithms with fixed stepsize. This family of methods arises in many machine learning tasks and is used to obtain approximate solutions of a linear system $\bar{A}θ= \bar{b}$ for which $\bar{A}$ and $\bar{b}$ can only be accessed through random estimates $\{({\bf A}_n, {\bf b}_n): n \in \mathbb{N}^*\}$. Our analysis is based on new results regarding moments and high probability bounds for products of matrices which are shown to be tight. We derive high probability bounds on the performance of LSA under weaker conditions on the sequence $\{({\bf A}_n, {\bf b}_n): n \in \mathbb{N}^*\}$ than previous works. However, in contrast, we establish polynomial concentration bounds with order depending on the stepsize. We show that our conclusions cannot be improved without additional assumptions on the sequence of random matrices $\{{\bf A}_n: n \in \mathbb{N}^*\}$, and in particular that no Gaussian or exponential high probability bounds can hold. Finally, we pay a particular attention to establishing bounds with sharp order with respect to the number of iterations and the stepsize and whose leading terms contain the covariance matrices appearing in the central limit theorems.

研究动机与目标

• 填补固定步长线性随机逼近（LSA）的渐近分析与非渐近分析之间的差距。
• 推导出在步长 $\alpha$、迭代次数 $n$ 和置信水平 $\delta$ 方面均紧致的高概率界。
• 建立多项式浓度界为必要的条件，表明在最小假设下，高斯或指数尾部界不成立。
• 为谱半径小于 1 的随机矩阵乘积提供新的矩分析，适用于非对称矩阵的情形。
• 证明在不施加关于随机矩阵序列 $\{\mathbf{A}_n\}$ 的额外假设下，所推导的界无法进一步改进。

提出的方法

• 推导 i.i.d. 随机矩阵 $\mathbf{Y}_1, \dots, \mathbf{Y}_n$ 乘积的矩界，其中 $\mathbb{E}[\mathbf{Y}_n]$ 的谱半径小于 1，将先前工作扩展至非对称矩阵。
• 利用这些矩界分析递推关系 $\theta_{n+1} = \theta_n - \alpha(\mathbf{A}_{n+1}\theta_n - \mathbf{b}_{n+1})$，用于求解 $\bar{A}\theta = \bar{b}$ 的随机估计。
• 建立形式为 $\mathbb{P}\left(|u^\top(\theta_n - \theta^\star)| \leq c\{\sqrt{\alpha u^\top\boldsymbol{\Sigma}u} + \alpha\}\sqrt{\log(1/\delta)} + c\{\rho_\alpha^n + \alpha p_0^2\}\delta^{-1/p_0}\right) \geq 1 - \delta$ 的高概率界，其中 $p_0 = o(\alpha^{-1/4})$。
• 证明 $\delta^{-1/p_0}$ 依赖关系是紧致的，表明在最小假设下，$1/\delta$ 的对数尾部关系无法成立。
• 分析小步长 $\alpha$ 下 LSA 递推的平稳分布 $\pi_\alpha$，证明其满足中心极限定理，渐近协方差为 $\boldsymbol{\Sigma}$。
• 通过一种新颖的分解方法，引入鞅增量 $\Delta M_{n,k} = \alpha_n^{1/2} u^\top G_{k:0}^{(n)} \varepsilon_{k-1}$，证明归一化误差弱收敛于高斯极限。

实验结果

研究问题

• RQ1 在弱于先前工作的假设下，能否为固定步长 LSA 推导出高概率界？
• RQ2 在 $\{\mathbf{A}_n, \mathbf{b}_n\}$ 的最小矩条件下，$1/\delta$ 的多项式依赖关系是否不可避免？
• RQ3 能否使界中关于步长 $\alpha$ 和迭代次数 $n$ 的依赖关系足够精确，并与中心极限定理中的渐近协方差 $\boldsymbol{\Sigma}$ 一致？
• RQ4 所推导的界是否在紧致意义上不可改进，即在不施加关于随机矩阵 $\{\mathbf{A}_n\}$ 的更强假设下无法进一步优化？
• RQ5 LSA 递推在小 $\alpha$ 下是否具有平稳分布 $\pi_\alpha$，且当 $\alpha \downarrow 0$ 时是否满足中心极限定理？

主要发现

• 本文建立了关于 $1/\delta$ 的多项式依赖关系的高概率界，具体为 $\delta^{-1/p_0}$，其中 $p_0 = o(\alpha^{-1/4})$，并在最小假设下证明其紧致性。
• 界中的主导项为 $c\{\sqrt{\alpha u^\top\boldsymbol{\Sigma}u} + \alpha\}\sqrt{\log(1/\delta)}$，其缩放与中心极限定理中的结果一致。
• 在不施加更强假设的前提下，该界无法改进为对数或指数尾部关系，反例已证明此结论。
• 当 $\alpha$ 较小时，LSA 递推具有唯一的平稳分布 $\pi_\alpha$，且归一化误差 $\alpha^{-1/2}(\theta_n - \theta^\star)$ 弱收敛于协方差为 $\boldsymbol{\Sigma}$ 的高斯分布。
• 对矩阵乘积的矩分析被推广至非对称随机矩阵，提供了在谱半径条件下 $\mathbb{E}[\|\mathbf{Y}_n \cdots \mathbf{Y}_1\|^p]$ 的统一 $L^p$ 有界性。
• 渐近协方差 $\boldsymbol{\Sigma}$（由李雅普诺夫方程定义）自然地出现在高概率界和中心极限定理中，确认其作为主导统计量的角色。