[论文解读] Accelerated Coordinate Descent with Arbitrary Sampling and Best Rates for Minibatches

Filip Hanzely, Peter Richtárik|arXiv (Cornell University)|Sep 25, 2018

Distributed Sensor Networks and Detection Algorithms被引用 20

一句话总结

本文提出一种具有任意采样方式的加速坐标下降（ACD）方法，通过新型重要性采样规则实现最优小批量选择。该方法利用坐标相关的利普希茨常数，实现比均匀采样快 O(n/τ) 倍的可证明更快收敛速度，显著提升大规模机器学习问题中 τ ≪ n 时的性能。

ABSTRACT

Accelerated coordinate descent is a widely popular optimization algorithm due to its efficiency on large-dimensional problems. It achieves state-of-the-art complexity on an important class of empirical risk minimization problems. In this paper we design and analyze an accelerated coordinate descent (ACD) method which in each iteration updates a random subset of coordinates according to an arbitrary but fixed probability law, which is a parameter of the method. If all coordinates are updated in each iteration, our method reduces to the classical accelerated gradient descent method AGD of Nesterov. If a single coordinate is updated in each iteration, and we pick probabilities proportional to the square roots of the coordinate-wise Lipschitz constants, our method reduces to the currently fastest coordinate descent method NUACDM of Allen-Zhu, Qu, Richt\\'{a}rik and Yuan. While mini-batch variants of ACD are more popular and relevant in practice, there is no importance sampling for ACD that outperforms the standard uniform mini-batch sampling. Through insights enabled by our general analysis, we design new importance sampling for mini-batch ACD which significantly outperforms previous state-of-the-art minibatch ACD in practice. We prove a rate that is at most ${\\cal O}(\\sqrt{\ au})$ times worse than the rate of minibatch ACD with uniform sampling, but can be ${\\cal O}(n/\ au)$ times better, where $\ au$ is the minibatch size. Since in modern supervised learning training systems it is standard practice to choose $\ au \\ll n$, and often $\ au={\\cal O}(1)$, our method can lead to dramatic speedups. Lastly, we obtain similar results for minibatch nonaccelerated CD as well, achieving improvements on previous best rates.

研究动机与目标

• 设计一种支持每次迭代中坐标子集任意采样的加速坐标下降方法，推广现有方法。
• 推导出优于实际中均匀采样的小批量 ACD 的最优重要性采样策略。
• 建立收敛速率，其可证明优于先前最先进方法，尤其在小批量大小 τ 较小时。
• 在逻辑回归和 SVM 等真实世界机器学习问题上，展示所提方法的实用性优势。
• 将分析扩展至带小批量的加速与非加速坐标下降。

提出的方法

• 该方法在每次迭代中使用固定但任意的概率分布来选择坐标子集（小批量），推广了单坐标和全梯度方法。
• 提出一种新的小批量重要性采样方案，其中采样概率与坐标相关利普希茨常数的平方根成正比。
• 算法采用内塔罗风格的动量，并维护一个动量变量以加速收敛。
• 收敛性分析基于一种新颖的李雅普诺夫函数和 ESO（期望可分近似）框架，以处理任意采样。
• 对于非加速变体，也推导出类似的重要性采样规则，改进了现有非加速小批量 CD 的收敛速率。
• 该方法支持光滑和强凸目标函数，并提供迭代复杂度的理论保证。

实验结果

研究问题

• RQ1 我们能否设计一种支持坐标子集任意采样的加速坐标下降方法，同时保持最优收敛速率？
• RQ2 对于小批量 ACD，最优重要性采样策略是什么，能够优于均匀采样？
• RQ3 所提 ACD 方法的收敛速率如何随小批量大小 τ 变化，尤其当 τ ≪ n 时？
• RQ4 理论改进是否能在真实世界机器学习问题（如逻辑回归和 SVM）上通过实验验证？
• RQ5 在收敛速度方面，小批量采样策略与问题条件数之间存在何种关系？

主要发现

• 所提 ACD 方法的收敛速率最差仅比均匀采样慢 O(√τ) 倍，但根据采样分布，可能快 O(n/τ) 倍。
• 当小批量大小 τ ≪ n 时，该方法在实践中可实现显著加速，尤其在使用重要性采样时。
• 基于利普希茨常数平方根的重要性采样规则，实现了小批量 ACD 的最佳已知收敛速率，优于以往工作。
• 在逻辑回归和 SVM 问题上的实验结果表明，使用重要性采样可实现一致的加速，尤其在数据受损或病态条件下的数据集上。
• 在所有测试数据集和小批量大小下，该方法均优于标准均匀小批量和先前最先进 ACD 方法。
• 理论收敛速率与文献中最佳已知速率一致，且该方法将经典 AGD 和 NUACDM 作为特例推广。