[论文解读] Breaking Locality Accelerates Block Gauss-Seidel

Stephen Tu, Shivaram Venkataraman+4 more|arXiv (Cornell University)|Jan 14, 2017

Stochastic Gradient Optimization Techniques参考文献 32被引用 10

一句话总结

本文表明，在块高斯-赛德尔法中通过随机坐标采样打破局部性，其性能显著优于固定划分采样，即使在应用加速的情况下也是如此。作者引入了一个新的与数据相关的参数 ν，用于捕捉当矩阵的子块条件良好时的加速优势，并通过实证结果表明，在大规模机器学习任务中，采用随机采样的加速高斯-赛德尔法相比共轭梯度法实现了最高达3.5倍的加速，相比加速的固定划分高斯-赛德尔法也实现了1.5倍的加速。

ABSTRACT

Recent work by Nesterov and Stich showed that momentum can be used to accelerate the rate of convergence for block Gauss-Seidel in the setting where a fixed partitioning of the coordinates is chosen ahead of time. We show that this setting is too restrictive, constructing instances where breaking locality by running non-accelerated Gauss-Seidel with randomly sampled coordinates substantially outperforms accelerated Gauss-Seidel with any fixed partitioning. Motivated by this finding, we analyze the accelerated block Gauss-Seidel algorithm in the random coordinate sampling setting. Our analysis captures the benefit of acceleration with a new data-dependent parameter which is well behaved when the matrix sub-blocks are well-conditioned. Empirically, we show that accelerated Gauss-Seidel with random coordinate sampling provides speedups for large scale machine learning tasks when compared to non-accelerated Gauss-Seidel and the classical conjugate-gradient algorithm.

研究动机与目标

• 挑战固定划分采样在加速块高斯-赛德尔法中为最优的假设。
• 分析在打破局部性的随机坐标采样下，加速块高斯-赛德尔法的收敛速率。
• 识别一个新数据相关的参数 ν，用于量化在随机采样模式下的加速优势。
• 提出一种基于李雅普诺夫函数的通用证明框架，用于分析随机加速方法，避免使用估计序列。
• 通过实证验证，随机采样加速高斯-赛德尔法在大规模机器学习问题上优于非加速高斯-赛德尔法和共轭梯度法。

提出的方法

• 提出一种随机化块高斯-赛德尔算法，每次迭代随机采样新块，从而打破数据局部性。
• 引入一个新参数 ν ≤ μ_rand⁻¹，用于衡量在随机采样模型中加速的优势。
• 采用基于李雅普诺夫函数的证明框架分析收敛性，替代传统的估计序列方法。
• 推导出 ν 的上界，表明当 A 的子块条件良好时，加速可带来显著提速。
• 将相同的证明框架应用于扩展至随机加速 Kaczmarz 算法。
• 在 n=250,000 的增强 CIFAR-10 数据集上，对核岭回归任务进行性能的实证评估。

实验结果

研究问题

• RQ1 通过随机坐标采样打破局部性，是否能在块高斯-赛德尔法中实现比固定划分采样更快的收敛？
• RQ2 在随机坐标采样下，加速块高斯-赛德尔法的收敛速率如何？与固定划分加速相比有何差异？
• RQ3 在随机采样模式下，哪个新数据相关的参数能捕捉加速的优势？
• RQ4 是否可以使用基于李雅普诺夫函数的证明框架，更一般地分析随机加速方法？
• RQ5 在大规模机器学习任务中，随机采样加速高斯-赛德尔法是否优于经典的共轭梯度法？

主要发现

• 本文构造了实例，表明即使不使用加速，采用随机坐标采样的高斯-赛德尔法也优于任何固定划分下的加速高斯-赛德尔法，说明加速无法弥补采样质量差的问题。
• 在随机采样下，加速块高斯-赛德尔法的收敛速率从 O(μ_rand⁻¹ log(1/ε)) 提升至 O(√(ν μ_rand⁻¹) log(1/ε))，其中 ν 是一个新引入的数据相关参数。
• 当 A 的子块条件良好时，ν 值较小，理论边界表明此时加速可带来显著提速，实证结果与之相符。
• 实证结果表明，随机采样加速高斯-赛德尔法在大规模核岭回归任务中，相比加速的固定划分高斯-赛德尔法最高可实现1.5倍加速，相比共轭梯度法最高可实现3.5倍加速。
• 所提出的李雅普诺夫函数框架成功复现了加速坐标下降的已有结果，并可推广至块 Kaczmarz 方法。
• ν 的上界较为保守，表明在子块条件良好的情况下，实际中加速可能带来的性能提升远超理论预测。