[论文解读] Fast Linear Convergence of Randomized BFGS

Dmitry Kovalev, Robert M. Gower+2 more|arXiv (Cornell University)|Feb 26, 2020

Stochastic Gradient Optimization Techniques参考文献 27被引用 8

一句话总结

该论文首次为随机化BFGS方法在自协和且光滑、强凸函数上建立了有意义的线性收敛速率，表明其收敛速度可显著快于梯度下降法。该方法使用随机映射矩阵高效近似Hessian信息，在温和假设下以高概率实现超线性收敛。

ABSTRACT

Since the late 1950's when quasi-Newton methods first appeared, they have become one of the most widely used and efficient algorithmic paradigms for unconstrained optimization. Despite their immense practical success, there is little theory that shows why these methods are so efficient. We provide a semi-local rate of convergence for the randomized BFGS method which can be significantly better than that of gradient descent, finally giving theoretical evidence supporting the superior empirical performance of the method.

研究动机与目标

• 为拟牛顿法（如BFGS）的实证成功提供理论依据，目前尚缺乏强有力的收敛速率分析。
• 为一种随机化BFGS变体建立局部线性收敛速率，其收敛速度被严格证明快于梯度下降法。
• 在最小假设下分析随机化BFGS方法的收敛行为，具体为目标函数的自协和性。
• 提出一种基于映射的框架，仅通过方向导数即可实现高效的Hessian近似。
• 通过数值实验展示该方法在病态条件问题上的实际有效性。

提出的方法

• 提出一种使用随机映射矩阵 $\mathbf{S}_k \sim \mathcal{D}$ 的随机化BFGS更新，其中 $\tau \ll d$ 列用于通过 $\mathbf{H}_k \mathbf{S}_k$ 近似Hessian矩阵。
• 采用随机化BFGS更新规则 $\mathbf{B}_{k+1} = \text{BFGS}(\mathbf{B}_k, \mathbf{H}_k, \mathbf{S}_k)$，以保持对逆Hessian矩阵的估计。
• 通过 $\tau$ 个梯度的方向导数计算Hessian映射，实现低成本的Hessian近似。
• 引入一个势函数 $\Psi_k$，结合函数次优性与在 $\mathbf{H}_*$-条件范数下的逆Hessian误差。
• 建立收缩不等式 $\mathbb{E}[\Psi_{k+1}] \leq (1 - \rho/2)\Psi_k$，其中 $\rho > 0$，由此可推出线性收敛。
• 在自协和性与强凸性条件下推导收敛速率，明确依赖于条件数与光滑性参数。

实验结果

研究问题

• RQ1 随机化BFGS方法能否实现严格快于梯度下降法的收敛速率？
• RQ2 在自协和性假设下，随机化BFGS方法的局部收敛速率是多少？
• RQ3 使用随机映射矩阵如何影响拟牛顿法的收敛性？
• RQ4 在随机化设置下，收敛速率能否独立于Hessian条件数进行界定？
• RQ5 映射分布 $\mathcal{D}$ 在实现快速收敛中起到什么作用？

主要发现

• 随机化BFGS方法实现了局部线性收敛，收敛速率为 $\mathbb{E}[\Psi_{k+1}] \leq (1 - \rho/2)\Psi_k$，其中 $\rho > 0$ 依赖于光滑性与强凸性参数。
• 收敛速率严格快于梯度下降法，因为收缩因子 $1 - \rho/2$ 可显著小于梯度下降法的速率。
• 对于自协和函数，该方法实现了显式依赖于 $L_1, L_2, \mu$ 以及映射质量的线性收敛速率。
• 该方法以几乎必然的方式收敛至最优解，且当 $k \to \infty$ 时，有 $\sqrt{f(x_k) - f(x_*)} \to 0$ 几乎必然成立。
• 数值实验表明，该方法在病态条件问题上表现良好，尤其当使用基于SVD的映射分布时。
• 理论分析首次为任意BFGS变体提供了非渐近、有意义的收敛速率，解决了长期存在的理论空白。