[论文解读] Randomized Dual Coordinate Ascent with Arbitrary Sampling

Zheng Qu, Peter Richtárik+1 more|arXiv (Cornell University)|Nov 21, 2014

Sparse and Compressive Sensing Techniques参考文献 38被引用 50

一句话总结

本文提出Quartz，一种用于求解大规模凸优化问题的新型随机对偶坐标上升方法，支持对偶变量的任意采样。该方法首次实现了对类似SDCA方法在任意采样下的收敛性分析，从而能够支持高效串行、并行和分布式变体，并可理论预测速度提升，与实际性能表现一致。

ABSTRACT

We study the problem of minimizing the average of a large number of smooth convex functions penalized with a strongly convex regularizer. We propose and analyze a novel primal-dual method (Quartz) which at every iteration samples and updates a random subset of the dual variables, chosen according to an arbitrary distribution. In contrast to typical analysis, we directly bound the decrease of the primal-dual error (in expectation), without the need to first analyze the dual error. Depending on the choice of the sampling, we obtain efficient serial, parallel and distributed variants of the method. In the serial case, our bounds match the best known bounds for SDCA (both with uniform and importance sampling). With standard mini-batching, our bounds predict initial data-independent speedup as well as additional data-driven speedup which depends on spectral and sparsity properties of the data. We calculate theoretical speedup factors and find that they are excellent predictors of actual speedup in practice. Moreover, we illustrate that it is possible to design an efficient mini-batch importance sampling. The distributed variant of Quartz is the first distributed SDCA-like method with an analysis for non-separable data.

研究动机与目标

• 开发一种灵活的随机原始-对偶算法，支持对偶变量的任意采样，克服先前SDCA方法的局限性。
• 提供对原始-对偶误差减少的直接分析，无需依赖中间对偶误差界。
• 通过利用任意采样分布，实现串行、并行和分布式设置下的高效实现。
• 基于数据稀疏性和谱特性推导理论速度提升因子，并通过实验验证。
• 证明该方法在收敛速率上可达到或优于现有方法（如SDCA和Prox-SDCA）

提出的方法

• 该方法名为Quartz，通过根据任意概率分布随机选择对偶变量（块）的子集来执行随机对偶坐标更新。
• 利用期望可分过近似（ESO）不等式定义步长参数 $ v_i $，确保在一般采样下的收敛性。
• 原始更新采用比SDCA更温和的规则，基于对偶变量平均值 $ \bar{\alpha}^{t-1} $，其中 $ w^t = (1-\theta)w^{t-1} + \theta \nabla g^*(\bar{\alpha}^{t-1}) $。
• 通过直接界定期望原始-对偶间隙对算法进行分析，从而在迭代次数上获得收敛保证。
• 基于采样类型（如 $\tau$-nice、重要性采样）推导理论速度提升因子，结合数据稀疏性和谱结构。
• 设计并验证了高效的最小批量重要性采样策略，显示出显著的实证速度提升。

实验结果

研究问题

• RQ1 能否在不依赖均匀采样或重要性采样假设的前提下，开发并分析一种支持任意采样的原始-对偶随机方法？
• RQ2 采样分布的选择如何影响收敛速度？理论速度提升因子能否准确预测实际性能提升？
• RQ3 该方法能否扩展到非可分数据的分布式设置，同时保持强收敛保证？
• RQ4 不同原始更新规则对收敛性有何影响？与现有方法（如Prox-SDCA）相比表现如何？
• RQ5 数据稀疏性和谱特性在多大程度上影响方法的理论与实证速度提升？

主要发现

• 该方法在 $ \max_i \left( \frac{1}{p_i} + \frac{v_i}{p_i \lambda \gamma n} \right) \log\left( \frac{P(w^0)-D(\alpha^0)}{\epsilon} \right) $ 次迭代内实现收敛，其收敛界在均匀采样和重要性采样下均达到SDCA的最佳已知水平。
• 基于数据稀疏性和谱特性推导的理论速度提升因子，在astro_ph、CCAT和webspam等多个数据集上，与实际性能提升高度吻合。
• 对于 $\tau$-nice 采样，理论速度提升因子在 $c\tau$ 的等高线附近近乎恒定，解释了在速度提升的对数-对数图中观察到的近似直线模式。
• Quartz的分布式变体是首个对非可分数据具备收敛性分析的类似SDCA方法，支持可扩展的分布式学习。
• Quartz-100$\theta$ 采用更具攻击性的原始更新策略，其收敛速率与Prox-SDCA相当，尽管未完全包含在理论框架内。
• 该方法支持高效的最小批量重要性采样，其理论速度提升预测在 $L2$-正则化线性SVM与平滑合页损失的实验中得到实证验证。