[论文解读] Proximal Stochastic Dual Coordinate Ascent

Shai Shalev‐Shwartz, Tong Zhang|arXiv (Cornell University)|Nov 12, 2012

Sparse and Compressive Sensing Techniques参考文献 15被引用 88

一句话总结

本文提出了一种新型算法——近端随机对偶坐标上升法（Prox-SDCA），用于求解具有非光滑和光滑损失函数的正则化经验风险最小化问题。通过利用对偶目标的近端逼近并利用强凸性，Prox-SDCA 实现了最优收敛速率，在 ℓ₁-正则化回归和结构化 SVM 等问题上达到或超越现有最先进结果。

ABSTRACT

We introduce a proximal version of dual coordinate ascent method. We demonstrate how the derived algorithmic framework can be used for numerous regularized loss minimization problems, including $\ell_1$ regularization and structured output SVM. The convergence rates we obtain match, and sometimes improve, state-of-the-art results.

研究动机与目标

• 开发一种统一且高效的优化框架，用于求解涉及非光滑和光滑损失的正则化损失最小化问题。
• 将对偶坐标上升方法扩展至处理由一般凸正则化器（如 ℓ₁ 和组套索）引起的近端项。
• 在光滑与非光滑设置下，建立理论收敛保证，并改进迭代复杂度。
• 在实际问题（如 ℓ₁-正则化线性模型和结构化输出 SVM）上展示该方法的有效性。

提出的方法

• 该算法采用随机对偶上升框架，每轮迭代中更新一个对偶变量，以最大化对偶目标的下界逼近。
• 引入近端逼近以处理复杂正则化器，通过用确保可计算性的下界替代精确的对偶更新。
• 该方法依赖于损失函数和正则化器的共轭函数，并使用对偶间隙作为收敛准则。
• 对于光滑损失，通过利用共轭函数的强凸性，实现线性收敛。
• 对于利普希茨连续的损失，收敛为次线性，该方法采用递减步长策略以保证收敛。
• 通过共轭正则化器的梯度恢复原始变量，确保与对偶解的一致性。

实验结果

研究问题

• RQ1 能否通过近端逼近将随机对偶上升方法扩展至处理 ℓ₁ 等非光滑正则化器？
• RQ2 当损失函数为利普希茨连续时，随机对偶坐标上升方法可实现何种收敛速率？
• RQ3 所提方法在正则化学习问题上的收敛速率与现有最先进算法相比如何？
• RQ4 在随机设置下，能否有效利用对偶间隙作为具有理论保证的停止准则？
• RQ5 在光滑与非光滑设置下，达到 ε-次优解的最优迭代复杂度是多少？

主要发现

• Prox-SDCA 方法在非光滑损失下实现对偶间隙衰减速率为 O(1/t)，确保在 O(1/ε) 次迭代内收敛至 ε-次优解。
• 对于光滑损失，该方法实现线性收敛，速率可达 O(1/t²)，与该类问题的最佳已知理论界一致。
• 该算法在 ℓ₁-正则化问题上实现了最优迭代复杂度，相较于以往的随机方法在收敛速度上有所提升。
• 收敛分析表明，达到 ε-次优性所需的迭代次数为：非光滑问题下为 O(1/ε)，光滑问题下为 O(log(1/ε))。
• 由于其通过近端框架处理复杂正则化器的能力，该方法适用于结构化输出 SVM 及其他结构化预测问题。
• 理论边界表明，对偶间隙以 O(1/t) 速率减小，且在 t 次迭代后，期望次优性被 O(1/t) 所界，且显式依赖于 λ 和 G 等问题参数。