[论文解读] Curvature-aided Incremental Aggregated Gradient Method

Hoi-To Wai, Wei Shi+2 more|arXiv (Cornell University)|Oct 24, 2017

Sparse and Compressive Sensing Techniques参考文献 12被引用 3

一句话总结

该论文提出了一种曲率辅助的增量聚合梯度（CIAG）方法，这是一种一阶优化算法，通过利用增量Hessian信息来加速有限和问题中的收敛。其每轮迭代的复杂度仅为${\cal O}(d^2)$，实现了与完整梯度方法相当的线性收敛速率，相较于IAG在迭代次数上表现更优，且在高维问题中比IN更具计算效率。

ABSTRACT

We propose a new algorithm for finite sum optimization which we call the curvature-aided incremental aggregated gradient (CIAG) method. Motivated by the problem of training a classifier for a d-dimensional problem, where the number of training data is $m$ and $m \gg d \gg 1$, the CIAG method seeks to accelerate incremental aggregated gradient (IAG) methods using aids from the curvature (or Hessian) information, while avoiding the evaluation of matrix inverses required by the incremental Newton (IN) method. Specifically, our idea is to exploit the incrementally aggregated Hessian matrix to trace the full gradient vector at every incremental step, therefore achieving an improved linear convergence rate over the state-of-the-art IAG methods. For strongly convex problems, the fast linear convergence rate requires the objective function to be close to quadratic, or the initial point to be close to optimal solution. Importantly, we show that running one iteration of the CIAG method yields the same improvement to the optimality gap as running one iteration of the full gradient method, while the complexity is $O(d^2)$ for CIAG and $O(md)$ for the full gradient. Overall, the CIAG method strikes a balance between the high computation complexity incremental Newton-type methods and the slow IAG method. Our numerical results support the theoretical findings and show that the CIAG method often converges with much fewer iterations than IAG, and requires much shorter running time than IN when the problem dimension is high.

研究动机与目标

• 解决大规模有限和优化中增量聚合梯度（IAG）方法收敛缓慢的问题。
• 克服增量牛顿（IN）方法因需计算Hessian矩阵逆而导致的高计算成本问题。
• 开发一种方法，结合IAG的低每轮迭代成本与完整梯度方法的快速收敛特性。
• 在$m \gg d \gg 1$设置下，实现线性收敛，同时保持最小的存储与计算开销。
• 确保在IN方法因病态Hessian矩阵求逆而无法收敛的高维问题中，仍具备数值稳定性和可扩展性。

提出的方法

• 引入增量Hessian近似，以在每一步追踪完整梯度向量。
• 利用曲率（Hessian）信息指导梯度更新，而无需计算矩阵逆。
• 通过维护对分量函数聚合Hessian的运行估计，以提升收敛性能。
• 应用一种渐近匹配完整梯度迭代收敛速率的步长规则。
• 在强凸性条件下，通过足够小的步长确保全局收敛。
• 提出一种自适应步长策略，以在实际中实现加速收敛。

实验结果

研究问题

• RQ1 能否在不求解Hessian矩阵逆的前提下，利用曲率信息加速增量梯度方法？
• RQ2 所提出的CIAG方法是否能达到与完整梯度方法相当的线性收敛速率？
• RQ3 在高维设置下，CIAG与IAG和IN相比，在收敛速度和计算成本方面表现如何？
• RQ4 当IN方法因Hessian矩阵求逆病态而无法收敛时，CIAG是否仍能保持数值稳定性和收敛性？
• RQ5 在增量优化中，收敛速率与每轮迭代复杂度之间的权衡关系如何？

主要发现

• CIAG实现了$1 - 4Q/(Q+1)^2$的线性收敛速率，与完整梯度方法的速率一致，且每轮迭代复杂度为${\cal O}(d^2)$。
• 对于类似二次型的目标函数或初始点接近最优解的情况，一次CIAG迭代改善的最优性间隙与一次完整梯度迭代相当。
• 数值结果表明，CIAG在迭代次数上显著少于IAG，且在高维问题中（如$d=501$，$m=2000$）耗时少于IN。
• IN方法在高维情形（如$d=501$）下无法收敛，而CIAG保持了良好的数值稳定性和高效性。
• 在真实数据集（mushrooms, w8a, alpha）上，CIAG比IAG以更少的有效遍历次数达到收敛，且耗时少于IN，尽管IN的迭代速度更快。
• 对于alpha数据集（$d=500$，$m=500,000$），CIAG仅需7.6次有效遍历和463.08秒，而IN虽仅需2.3次遍历却耗时1130.7秒，主要因Hessian矩阵求逆成本过高。