[论文解读] Accelerated Stochastic Matrix Inversion: General Theory and Speeding up BFGS Rules for Faster Second-Order Optimization

Robert M. Gower, Filip Hanzely+2 more|arXiv (Cornell University)|Feb 12, 2018

Stochastic Gradient Optimization Techniques参考文献 22被引用 16

一句话总结

本文提出了首个用于欧几里得空间中随机矩阵求逆的加速随机算法，实现了更快的收敛速度，同时保持了正定性。该方法被应用于开发加速的随机与确定性BFGS更新，数值实验表明其显著提升了速度，尤其在参数调优的坐标图示法中表现突出。

ABSTRACT

We present the first accelerated randomized algorithm for solving linear systems in Euclidean spaces. One essential problem of this type is the matrix inversion problem. In particular, our algorithm can be specialized to invert positive definite matrices in such a way that all iterates (approximate solutions) generated by the algorithm are positive definite matrices themselves. This opens the way for many applications in the field of optimization and machine learning. As an application of our general theory, we develop the {\em first accelerated (deterministic and stochastic) quasi-Newton updates}. Our updates lead to provably more aggressive approximations of the inverse Hessian, and lead to speed-ups over classical non-accelerated rules in numerical experiments. Experiments with empirical risk minimization show that our rules can accelerate training of machine learning models.

研究动机与目标

• 为欧几里得空间中的线性系统求解与正定矩阵求逆开发一种加速随机算法。
• 在求逆过程中保持矩阵迭代的正定性与对称性，确保其在优化中的稳定性。
• 将加速矩阵求逆方法集成到拟牛顿法中，以构建更快的随机与确定性BFGS更新。
• 通过实验表明，加速BFGS方法在某些问题类别中比经典BFGS具有更快的收敛速度。
• 将Nesterov加速框架的应用从一阶方法扩展至拟牛顿更新，这是优化领域中的新颖应用。

提出的方法

• 提出一种用于求解线性系统 $Ax = b$ 的加速图示-投影方法，其中 $A$ 为正定矩阵且 $b$ 属于 $A$ 的值域。
• 通过设定 $b = I$，将图示-投影框架应用于矩阵求逆，使得解 $X$ 满足 $AX = I$，即 $X = A^{-1}$。
• 通过线性约束将对称性与正定性约束整合到图示-投影迭代中。
• 基于矩阵的条件数与特征值界推导加速参数，采用一种可确保最优收敛速率的参数化方法。
• 将加速矩阵求逆作为原始方法，用于随机与确定性BFGS方法中，取代标准的Hessian更新规则。
• 提出一种新的拟牛顿更新规则，允许对逆Hessian矩阵进行更具侵略性的近似，从而提升收敛速度。

实验结果

研究问题

• RQ1 Nesterov型加速能否成功应用于欧几里得空间中的矩阵求逆，特别是正定矩阵？
• RQ2 加速矩阵求逆方法能否保持迭代过程中的对称性与正定性，使其适用于优化中的Hessian近似？
• RQ3 将加速矩阵求逆集成到BFGS中，是否能在随机与确定性设置下均实现更快的收敛？
• RQ4 不同的图示策略（坐标、均匀、高斯）如何影响加速矩阵求逆与BFGS方法的性能？
• RQ5 在何种问题条件下加速能带来显著提速，而在何种情况下改进可忽略？

主要发现

• 所提出的加速图示-投影方法相比非加速版本实现了更快的收敛速度，尤其在使用参数调优的坐标图示法时表现更优。
• 对于具有便利或均匀概率的坐标图示法，加速方法显著优于非加速版本，表明其性能强烈依赖于图示策略与参数调优。
• 在高斯图示法下，加速与非加速方法之间的性能差距缩小，表明加速效果在图示分布与问题结构相匹配时最为显著。
• 当最小特征值 $\lambda_{\min}(A)$ 未知时，选择 $\mu = \frac{1}{100\nu}$ 或 $\frac{1}{10000\nu}$ 会导致性能接近非加速方法，表明对参数选择较为敏感。
• 在经验风险最小化实验中，即使每次迭代成本更高，加速BFGS方法仍比标准BFGS收敛更快，表明在求解时间上实现了实际提速。
• 在某些数据集（如 madelon、covtype 和 a9a）上，加速带来的改进有限，表明其优势取决于问题的条件数与结构，当标准更新已足够高效时，改进空间较小。