[论文解读] Adaptive Stochastic Primal-Dual Coordinate Descent for Separable Saddle Point Problems

Zhanxing Zhu, Amos Storkey|arXiv (Cornell University)|Jun 12, 2015

Stochastic Gradient Optimization Techniques参考文献 13被引用 11

一句话总结

该论文提出AdaSPDC，一种用于可分凸-凹鞍点问题的自适应随机原始-对偶坐标下降方法，特别适用于正则化经验风险最小化问题。通过根据数据块的谱范数动态调整原始变量和对偶变量的步长，AdaSPDC实现了比先前方法更优的线性收敛速率，并在合成数据集和真实世界数据集上均优于当前最先进算法，尤其在正则化参数较小时表现更佳。

ABSTRACT

We consider a generic convex-concave saddle point problem with separable structure, a form that covers a wide-ranged machine learning applications. Under this problem structure, we follow the framework of primal-dual updates for saddle point problems, and incorporate stochastic block coordinate descent with adaptive stepsize into this framework. We theoretically show that our proposal of adaptive stepsize potentially achieves a sharper linear convergence rate compared with the existing methods. Additionally, since we can select "mini-batch" of block coordinates to update, our method is also amenable to parallel processing for large-scale data. We apply the proposed method to regularized empirical risk minimization and show that it performs comparably or, more often, better than state-of-the-art methods on both synthetic and real-world data sets.

研究动机与目标

• 解决现有随机原始-对偶方法因采用保守的常数步长而导致的次优收敛问题。
• 为机器学习中出现的大规模可分鞍点问题开发一种可扩展且高效的算法。
• 引入反映单个数据块局部几何结构的自适应步长规则。
• 通过坐标块的随机小批量更新实现并行处理。
• 在正则化经验风险最小化任务上，相比当前最先进方法，展现出更优越的性能。

提出的方法

• 该方法通过基于每个数据块矩阵 $\mathbf{A}_i$ 的谱范数，为原始变量和对偶变量引入自适应步长，扩展了SPDC框架。
• 采用随机块坐标下降法，每次迭代随机更新一组对偶坐标（块）。
• 自适应步长规则动态调整 $\tau$（原始）和 $\sigma$（对偶）步长，以反映所选块与原始变量之间的耦合强度。
• 通过参数 $\theta$ 引入外推法以加速收敛，并有理论依据支持其获得更优的线性收敛速率。
• 对于非闭式对偶更新（如逻辑损失），应用若干次牛顿步长以精炼解。
• 该方法支持小批量更新，可在大规模数据集上实现高效的并行化。

实验结果

研究问题

• RQ1 基于局部块结构的自适应步长是否能提升用于可分鞍点问题的随机原始-对偶方法的收敛速率？
• RQ2 与固定常数步长相比，该自适应步长规则在收敛速度和稳定性方面表现如何？
• RQ3 所提方法在不同损失函数（如光滑合页损失和逻辑损失）及不同正则化条件下是否均能保持优异性能？
• RQ4 小批量扩展是否能在不牺牲收敛质量的前提下实现有效的并行化？
• RQ5 与现有SPDC及SAG变体相比，该自适应方法的理论收敛速率如何？

主要发现

• AdaSPDC通过基于每个数据块谱范数自适应调节步长，实现了比SPDC更优的线性收敛速率。
• 在真实世界数据集（如 w8a、covertype 和 quantum）上，AdaSPDC始终优于或匹配当前最先进方法，尤其在小正则化参数 $\lambda = 10^{-7}$ 时表现突出。
• 对于光滑合页损失，对偶更新具有闭式解，通过投影确保 $b_i y_i \in [-1, 0]$，且方法在极少调参下表现良好。
• 对于逻辑损失，尽管对偶更新无闭式解，但仅需几次牛顿步长即可获得精确更新，并保持强劲性能。
• SAG对步长选择极为敏感，即使经过最优调优，其在大多数数据集上仍无法达到AdaSPDC的性能水平。
• SPDC采用非均匀采样虽在初期收敛迅速，但最终目标值无法与AdaSPDC比肩，表明其保守常数步长策略存在局限性。