[论文解读] Even Faster Accelerated Coordinate Descent Using Non-Uniform Sampling

Zeyuan Allen-Zhu, Zheng Qu+2 more|arXiv (Cornell University)|Dec 30, 2015

Stochastic Gradient Optimization Techniques参考文献 29被引用 22

一句话总结

本文提出了一种用于加速坐标下降的新型非均匀采样策略，该策略根据坐标的光滑性参数的平方根选择坐标，相较于现有方法实现了高达√n的加速。该方法在非强凸和强凸问题上均提升了收敛速度，并在E问题和线性系统上获得了理论与实证验证。

ABSTRACT

Accelerated coordinate descent is widely used in optimization due to its cheap per-iteration cost and scalability to large-scale problems. Up to a primal-dual transformation, it is also the same as accelerated stochastic gradient descent that is one of the central methods used in machine learning. In this paper, we improve the best known running time of accelerated coordinate descent by a factor up to $\sqrt{n}$. Our improvement is based on a clean, novel non-uniform sampling that selects each coordinate with a probability proportional to the square root of its smoothness parameter. Our proof technique also deviates from the classical estimation sequence technique used in prior work. Our speed-up applies to important problems such as empirical risk minimization and solving linear systems, both in theory and in practice.

研究动机与目标

• 解决尽管在非加速设置中已知非均匀采样具有优势，但在加速坐标下降中仍缺乏高效采样策略的问题。
• 通过重新设计采样分布，将加速坐标下降的收敛速度超越现有最先进方法。
• 提出一种新的理论框架，脱离经典估计序列技术，实现更紧致的收敛界分析。
• 在真实世界数据集和合成线性系统上展示实际加速效果，尤其在非均匀光滑性环境下表现突出。
• 建立新方法与现有加速方法（如APCG）之间的联系，阐明在不同参数选择下其相对性能表现。

提出的方法

• 提出一种非均匀采样分布，其中每个坐标 i 被选中的概率与 √Li 成正比，其中 Li 为第 i 个坐标的光滑性参数。
• 开发一种新证明技术，避免使用先前工作中依赖的经典估计序列框架，从而实现更紧致的收敛性分析。
• 提出一种改进的加速坐标下降算法（NU ACDMns），将新采样规则整合进基于动量的更新机制中。
• 在非强凸和强凸设置下分析收敛速率，推导出以 ∑√Li 和 σ（强凸性参数）表示的界。
• 将方法推广至 Lβ 范数，适用于非强凸目标函数，实现收敛速度与鲁棒性之间的灵活权衡。
• 在E问题（news20, w8a, covtype）和线性系统上对方法进行实证验证，与ACDM、APCG及随机Kaczmarz方法进行对比。

实验结果

研究问题

• RQ1 基于坐标光滑性的非均匀采样策略是否能将加速坐标下降的收敛速度超越现有方法？
• RQ2 加速坐标下降的最优采样分布是什么？它是否与以往使用的均匀或与 Li 成正比的规则不同？
• RQ3 在具有不同光滑性分布的多样化数据集上，新方法与最先进算法（如APCG和ACDM）在实际表现上如何比较？
• RQ4 理论上的 √n 量级加速是否在真实应用中成立，尤其是在光滑性参数非均匀的情况下？
• RQ5 在非强凸设置下，Lβ 范数中 β 的选择如何影响性能？哪种 β 值能实现最佳的实际权衡？

主要发现

• 所提出的非均匀采样规则（选择概率与 √Li 成正比）在最坏情况下，相较于ACDM实现了高达 √n 的理论加速。
• 对于非强凸问题，新方法的收敛速率为 O(∑√Li / √ε · ||x₀ − x*||)，优于ACDM的 O(√n ∑Li / √ε · ||x₀ − x*||)。
• 在强凸情况下，该方法达到 O(∑√Li / √σ · log(1/ε)) 的收敛速率，快于ACDM的 O(√n ∑Li / √σ · log(1/ε))。
• 在E问题数据集（news20, w8a, covtype）上的实证结果表明，NU ACDMns 在非均匀光滑性环境下优于ACDM，并与APCG具有竞争力。
• 在合成线性系统上，当矩阵 A 的行范数非均匀（低 r）时，加速效果最为显著，理论加速因子在 r = 10% 时达到 1.74。
• NU ACDMns 在 Lβ 范数中不同 β 值下表现稳健，实践中较小的 β（如 β = 0）通常优于较大的 β，尤其在非均匀数据集上。