[论文解读] Fast-and-Light Stochastic ADMM

Shuai Zheng, James T. Kwok|arXiv (Cornell University)|Apr 24, 2016

Sparse and Compressive Sensing Techniques参考文献 24被引用 32

一句话总结

本文提出了一种新型的快速轻量级随机 ADMM 算法，该算法将随机方差缩减梯度（SVRG）方法集成到 ADMM 中，实现了类似 SAG-ADMM 和 SDCA-ADMM 的快速收敛速度，同时大幅降低了内存使用量——存储需求与样本数量 n 无关。实验结果证实，该方法在速度上与最先进方法相当，并可扩展至更大规模的数据集。

ABSTRACT

The alternating direction method of multipliers (ADMM) is a powerful optimization solver in machine learning. Recently, stochastic ADMM has been integrated with variance reduction methods for stochastic gradient, leading to SAG-ADMM and SDCA-ADMM that have fast convergence rates and low iteration complexities. However, their space requirements can still be high. In this paper, we propose an integration of ADMM with the method of stochastic variance reduced gradient (SVRG). Unlike another recent integration attempt called SCAS-ADMM, the proposed algorithm retains the fast convergence benefits of SAG-ADMM and SDCA-ADMM, but is more advantageous in that its storage requirement is very low, even independent of the sample size n. Experimental results demonstrate that it is as fast as SAG-ADMM and SDCA-ADMM, much faster than SCAS-ADMM, and can be used on much bigger data sets.

研究动机与目标

• 为解决现有随机 ADMM 变体（如 SAG-ADMM 和 SDCA-ADMM）的高内存需求问题，这些方法的内存消耗随样本数量 n 增大而增加。
• 开发一种随机 ADMM 变体，以在保持快速收敛速度的同时最小化存储开销。
• 以一种保持收敛速度并降低空间复杂度的方式将 SVRG 集成到 ADMM 中。
• 实现在内存成为瓶颈的大规模机器学习问题中的高效优化。

提出的方法

• 提出一种新型 ADMM 变体，将交替方向乘子法与随机方差缩减梯度（SVRG）技术相结合。
• 在对偶更新步骤中使用 SVRG 以减少梯度方差，从而提升收敛的稳定性和速度。
• 设计算法使得存储需求与样本数量 n 无关，这与 SAG-ADMM 和 SDCA-ADMM 不同。
• 保持与标准 ADMM 相同的迭代结构，但将梯度估计方法替换为基于 SVRG 的更新。
• 在 SVRG 中采用控制变量机制，以在不存储完整梯度历史的情况下减少随机梯度的方差。
• 通过避免存储每个样本的梯度信息，实现低内存使用，这与 SAG-ADMM 和 SDCA-ADMM 不同。

实验结果

研究问题

• RQ1 SVRG 能否被有效集成到 ADMM 中，以同时实现快速收敛和低内存使用？
• RQ2 与 SAG-ADMM 和 SDCA-ADMM 相比，所提出的算法在收敛速度和可扩展性方面表现如何？
• RQ3 与 SCAS-ADMM 相比，该方法是否在降低存储复杂度的同时仍保持快速收敛？
• RQ4 由于其低内存占用，该算法是否能够处理比现有随机 ADMM 方法更大的数据集？

主要发现

• 所提出的算法在收敛速度上与 SAG-ADMM 和 SDCA-ADMM 相当，表明其在大规模问题上具有快速收敛特性。
• 存储需求与样本数量 n 无关，使其相比 SAG-ADMM 和 SDCA-ADMM 显著更节省内存。
• 尽管理论收敛速率相似，该算法在实际应用中远快于 SCAS-ADMM。
• 实验结果证实，由于其低内存使用和高速度，该方法能有效扩展至更大规模的数据集。