[论文解读] Krylov Subspace Recycling for Fast Iterative Least-Squares in Machine Learning

Filip de Roos, Philipp Hennig|arXiv (Cornell University)|Jun 1, 2017

Gaussian Processes and Bayesian Inference参考文献 18被引用 3

一句话总结

本文提出Krylov子空间重用方法，通过在一系列相关的对称正定线性系统间重用信息，加速机器学习中的迭代最小二乘求解器。通过以较低额外开销随时间自适应调整低秩子空间，该方法在数据规模下计算成本呈二次方增长，实现了近乎精确的解，其精度优于固定低秩近似方法，同时在10⁵–10⁶量级的数据点上仍保持可扩展性。

ABSTRACT

Solving symmetric positive definite linear problems is a fundamental computational task in machine learning. The exact solution, famously, is cubicly expensive in the size of the matrix. To alleviate this problem, several linear-time approximations, such as spectral and inducing-point methods, have been suggested and are now in wide use. These are low-rank approximations that choose the low-rank space a priori and do not refine it over time. While this allows linear cost in the data-set size, it also causes a finite, uncorrected approximation error. Authors from numerical linear algebra have explored ways to iteratively refine such low-rank approximations, at a cost of a small number of matrix-vector multiplications. This idea is particularly interesting in the many situations in machine learning where one has to solve a sequence of related symmetric positive definite linear problems. From the machine learning perspective, such deflation methods can be interpreted as transfer learning of a low-rank approximation across a time-series of numerical tasks. We study the use of such methods for our field. Our empirical results show that, on regression and classification problems of intermediate size, this approach can interpolate between low computational cost and numerical precision.

研究动机与目标

• 为解决机器学习中对称正定线性系统精确解的高计算成本问题，其计算复杂度随数据规模呈立方增长。
• 探索是否可通过重用先前求解的信息，使迭代求解器在一系列相关问题上具备自适应能力。
• 评估Krylov子空间重用是否在速度与精度之间提供一种实用的折中方案，介于低成本近似方法与精确求解器之间。
• 在真实机器学习工作负载中，对比基于重用的迭代求解器与标准的诱导点法及谱近似方法的性能。

提出的方法

• 该方法采用降维共轭梯度法（def-CG），一种迭代Krylov子空间方法，通过重用先前求解得到的Ritz向量，加速后续系统上的收敛速度。
• 它维护一个由先前解导出的低维搜索方向子空间，该子空间从Krylov迭代中被降维，以降低有效条件数。
• 算法在第一个系统上以标准CG求解初始化，随后将计算得到的Ritz向量用作后续系统的降维子空间。
• 降维子空间在迭代过程中逐步更新，实现低秩近似的渐进式优化，而无需完全重新计算。
• 该方法应用于贝叶斯逻辑回归和高斯过程分类中出现的线性系统序列，其中Hessian矩阵或核矩阵随时间缓慢变化。
• 通过CPU时间与相对残差误差作为指标，将该方法与标准CG及固定低秩近似方法（如诱导点法）进行比较。

实验结果

研究问题

• RQ1 Krylov子空间重用能否显著减少在机器学习中求解一系列相关对称正定线性系统的时间？
• RQ2 基于重用的迭代求解器的精度与诱导点等固定低秩近似方法相比如何？
• RQ3 重用先前求解的信息在多大程度上减少了后续系统中的迭代次数与有效条件数？
• RQ4 基于重用的求解器能否在计算成本与线性成本近似方法相当的前提下，实现高精度解？

主要发现

• 降维共轭梯度法（def-CG）在计算成本仅略有增加的情况下，相比诱导点法将精度提升了6个数量级。
• 对于规模约为10⁵至10⁶的数据集，该方法在计算上依然可行，运行时间随数据规模呈二次方增长。
• 相对残差在牛顿迭代过程中下降得更快，证实了重用的子空间降低了有效条件数并加速了收敛。
• 在计算成本相近的情况下，def-CG在对数似然精度上优于仅使用25%–50%数据的诱导点法。
• 该方法在多个回归与分类任务中均表现出一致的性能提升，尤其在优化循环的后期迭代中更为显著。
• 该方法在计算成本与数值精度之间提供了实用的折中方案，弥合了精确求解器与固定低秩近似方法之间的差距。