[论文解读] Explicit Convergence Rates of Greedy and Random Quasi-Newton Methods

Dachao Lin, Haishan Ye+1 more|arXiv (Cornell University)|Apr 18, 2021

Sparse and Compressive Sensing Techniques参考文献 19被引用 5

一句话总结

本文通过引入基于 Hessian 近似的新分析框架，为贪婪和随机拟牛顿方法（包括 BFGS 和 SR1 变体）建立了显式的局部超线性收敛速率。该研究提供了具有显式条件数和维度依赖关系的非渐近收敛界，解决了 Broyden 家族中随机与贪婪更新收敛速率的开放问题。

ABSTRACT

Optimization is important in machine learning problems, and quasi-Newton methods have a reputation as the most efficient numerical schemes for smooth unconstrained optimization. In this paper, we consider the explicit superlinear convergence rates of quasi-Newton methods and address two open problems mentioned by Rodomanov and Nesterov. First, we extend Rodomanov and Nesterov's results to random quasi-Newton methods, which include common DFP, BFGS, SR1 methods. Such random methods adopt a random direction for updating the approximate Hessian matrix in each iteration. Second, we focus on the specific quasi-Newton methods: SR1 and BFGS methods. We provide improved versions of greedy and random methods with provable better explicit (local) superlinear convergence rates. Our analysis is closely related to the approximation of a given Hessian matrix, unconstrained quadratic objective, as well as the general strongly convex, smooth, and strongly self-concordant functions.

研究动机与目标

• 通过提供显式、非渐近的超线性收敛速率，弥合拟牛顿方法理论理解的空白。
• 将 Rodomanov 和 Nesterov (2021b) 的贪婪拟牛顿框架扩展至随机拟牛顿方法，包括 DFP、BFGS 和 SR1。
• 通过引入新的贪婪与随机更新策略，改进 SR1 和 BFGS 方法的收敛速率，实现可证明的局部超线性收敛。
• 在强凸、光滑且自共轭函数下分析收敛性，显式揭示收敛速率对条件数和维度的依赖关系。

提出的方法

• 提出一种基于 Hessian 近似误差的新分析框架，追踪逆 Hessian 近似误差矩阵的演化过程。
• 引入一种随机更新策略，从一组基中均匀随机选择搜索方向，替代需要额外梯度信息的贪婪选择。
• 利用概率浓度不等式推导收敛界，表明误差衰减速率依赖于条件数 κ 和维度 d。
• 通过递归误差传播与矩阵扰动分析，为 BFGS 和 SR1 方法的贪婪与随机变体建立显式收敛速率。
• 利用非奇异矩阵 L_k 的变换，解耦更新动力学，简化 Hessian 近似误差的分析。
• 应用一种新型矩阵更新规则，结合 Broyden 类更新与基于当前 Hessian 近似与真实 Hessian 之间对齐度的归一化。

实验结果

研究问题

• RQ1 能否为随机拟牛顿方法（如随机 BFGS 和随机 SR1）建立显式的局部超线性收敛速率？
• RQ2 尽管所需信息更少，随机更新是否能达到与贪婪更新相当的收敛速率？
• RQ3 通过超越标准 Broyden 更新的策略改进，能否为 SR1 和 BFGS 方法推导出更优的收敛速率？
• RQ4 在拟牛顿方法中，收敛速率对条件数和维度的显式依赖关系是什么？
• RQ5 在相同假设下，贪婪与随机变体的收敛速率如何比较？

主要发现

• 本文为随机拟牛顿方法建立了非渐近的超线性收敛速率，形式为 $ \lambda_{k_0 + k} \leq \left(1 - \frac{1}{t+1}\right)^{k(k-1)/2} \cdot \left(\frac{1}{2}\right)^k \cdot \left(1 - \frac{1}{2\varkappa}\right)^{k_0} \lambda_0 $，且以高概率成立。
• 对于随机 Broyden 方法，初始化阶段 $ k_0 $ 为 $ O(d\varkappa \ln(d\varkappa / \delta)) $，表明其对维度和条件数的依赖。
• 对于贪婪与随机 BFGS 方法，$ k_0 = O((d + \varkappa)\ln(d\varkappa / \delta)) $，表明相比随机 Broyden 方法具有更优的依赖关系。
• 对于贪婪与随机 SR1 方法，$ k_0 = O((d + \varkappa)\ln(d\varkappa)) $，且显式常数依赖于条件数与维度。
• 在初始化阶段收敛速率显著提升，残差在 $ k_0 $ 次迭代后呈超线性下降。
• 分析结果证实，随机更新可实现与贪婪更新相当的收敛速率，为经验观察提供了理论保证。