[论文解读] Faster Least Squares Optimization

Jonathan Lacotte, Mert Pilancı|arXiv (Cornell University)|Nov 6, 2019

Sparse and Compressive Sensing Techniques参考文献 44被引用 14

一句话总结

本文提出了对随机预条件子的理论分析，以加速最小二乘优化，比较了固定和刷新的基于压缩采样（sketching）的预条件子。推导了使用刷新压缩采样时迭代海森矩阵压缩（IHS）的期望收敛速率的闭式表达式，并表明加速动量（heavy-ball momentum）无法改善该速率，因此推荐使用优化压缩大小的预条件共轭梯度（PCG）方法，以实现最先进的计算复杂度。

ABSTRACT

We investigate iterative methods with randomized preconditioners for solving overdetermined least-squares problems, where the preconditioners are based on a random embedding of the data matrix. We consider two distinct approaches: the sketch is either computed once (fixed preconditioner), or, the random projection is refreshed at each iteration, i.e., sampled independently of previous ones (varying preconditioners). Although fixed sketching-based preconditioners have received considerable attention in the recent literature, little is known about the performance of refreshed sketches. For a fixed sketch, we characterize the optimal iterative method, that is, the preconditioned conjugate gradient as well as its rate of convergence in terms of the subspace embedding properties of the random embedding. For refreshed sketches, we provide a closed-form formula for the expected error of the iterative Hessian sketch (IHS), a.k.a. preconditioned steepest descent. In contrast to the guarantees and analysis for fixed preconditioners based on subspace embedding properties, our formula is exact and it involves the expected inverse moments of the random projection. Our main technical contribution is to show that this convergence rate is, surprisingly, unimprovable with heavy-ball momentum. Additionally, we construct the locally optimal first-order method whose convergence rate is bounded by that of the IHS. Based on these theoretical and numerical investigations, we do not observe that the additional randomness of refreshed sketches provides a clear advantage over a fixed preconditioner. Therefore, we prescribe PCG as the method of choice along with an optimized sketch size according to our analysis. Our prescribed sketch size yields state-of-the-art computational complexity for solving highly overdetermined linear systems. Lastly, we illustrate the numerical benefits of our algorithms.

研究动机与目标

• 为过度确定最小二乘问题中的随机预条件共轭梯度迭代方法提供一个统一的理论框架。
• 比较迭代求解器中固定与刷新的基于压缩采样预条件子的收敛行为。
• 确定刷新压缩采样引入的额外随机性是否能提升固定预条件子的收敛性能。
• 推导使用独立同分布（i.i.d.）压缩采样矩阵的迭代海森矩阵压缩（IHS）的确切收敛速率。
• 在不同预条件子下，识别最优的一阶方法与共轭梯度方法。

提出的方法

• 使用与数据无关的随机嵌入（压缩采样）对最小二乘问题中的海森矩阵 $ H = A^ op A $ 进行预条件处理。
• 分析两种情形：固定压缩采样矩阵 $ S $ 和在每次迭代中独立刷新的压缩采样矩阵 $ S_t $。
• 通过随机投影的期望逆矩，推导出使用期望误差的迭代海森矩阵压缩（IHS）的闭式公式。
• 通过一种局部最优的一阶方法表征最优迭代方法，其收敛速率界定了IHS的收敛速率。
• 将IHS与带加速动量的Polyak-IHS进行比较，表明其无法改善IHS的收敛速率。
• 将所提方法与灵活的和不精确的预条件共轭梯度方法联系起来。

实验结果

研究问题

• RQ1 在最小二乘优化中，刷新压缩采样是否能为收敛性提供可证明的优势，相比固定预条件子？
• RQ2 使用独立同分布（i.i.d.）压缩采样矩阵时，迭代海森矩阵压缩（IHS）的精确期望收敛速率是什么？
• RQ3 加速动量在加速使用刷新压缩采样的IHS方面是否有效？
• RQ4 在理想化的随机存取机器（RAM）模型下，使计算复杂度最小化的最优压缩大小是什么？
• RQ5 IHS的收敛性与使用固定预条件子的预条件共轭梯度（PCG）相比如何？

主要发现

• 使用刷新压缩采样的迭代海森矩阵压缩（IHS）的期望收敛速率由一个闭式表达式给出，其中涉及随机投影矩阵的期望逆矩。
• 加速动量无法改善使用刷新压缩采样的IHS的收敛速率，因此在该设置下该速率无法被进一步提升。
• 局部最优一阶方法的收敛速率被IHS的收敛速率所界定，为不同预条件子下的一阶方法提供了理论基准。
• 数值结果表明，在实践中，刷新压缩采样相比固定预条件子并无明显优势。
• 使用优化压缩大小的预条件共轭梯度（PCG）在高度过度确定的系统中，实现了在浮点运算次数（flop counts）方面的最先进计算复杂度。
• 基于理论与实证分析，本文建议采用优化压缩大小的PCG作为首选方法。