[论文解读] Adaptive Stochastic Alternating Direction Method of Multipliers

Peilin Zhao, Jin-Wei Yang+2 more|arXiv (Cornell University)|Dec 16, 2013

Sparse and Compressive Sensing Techniques参考文献 15被引用 8

一句话总结

本文提出了一种自适应随机ADMM算法，用基于子梯度信息推导出的自适应二阶近邻函数替代传统随机ADMM中的固定二次近邻函数。通过根据历史梯度动态调整近邻项，该方法实现了与最优事后近邻函数相匹配的遗憾界，从而在真实世界数据集上相比标准随机ADMM实现了更快的收敛速度和更优的性能。

ABSTRACT

The Alternating Direction Method of Multipliers (ADMM) has been studied for years. The traditional ADMM algorithm needs to compute, at each iteration, an (empirical) expected loss function on all training examples, resulting in a computational complexity proportional to the number of training examples. To reduce the time complexity, stochastic ADMM algorithms were proposed to replace the expected function with a random loss function associated with one uniformly drawn example plus a Bregman divergence. The Bregman divergence, however, is derived from a simple second order proximal function, the half squared norm, which could be a suboptimal choice. In this paper, we present a new family of stochastic ADMM algorithms with optimal second order proximal functions, which produce a new family of adaptive subgradient methods. We theoretically prove that their regret bounds are as good as the bounds which could be achieved by the best proximal function that can be chosen in hindsight. Encouraging empirical results on a variety of real-world datasets confirm the effectiveness and efficiency of the proposed algorithms.

研究动机与目标

• 为解决传统随机ADMM使用固定二次近邻函数（半平方范数）所带来的次优性能问题，该函数可能难以适应变化的梯度结构。
• 开发一类新型随机ADMM算法，利用基于历史子梯度信息的自适应近邻函数，提升收敛速度和优化效率。
• 理论上证明所提方法的遗憾界与事后最优近邻函数的遗憾界相匹配，确保自适应性的最优性。
• 通过实证验证所提算法在多样化真实世界机器学习数据集上的有效性和效率。

提出的方法

• 该方法将基于半平方范数的Bregman散度替换为基于动态更新的正定矩阵H_t构造的自适应Bregman散度，以捕捉二阶梯度信息。
• 自适应近邻函数通过使用对角或完整Hessian类矩阵H_t构建，其通过累积子梯度信息进行更新，以反映损失函数的曲率特征。
• 在每次迭代中，算法通过自适应Bregman散度求解线性化子问题，实现闭式更新，同时保持计算效率。
• 步长通过从对数网格中进行交叉验证自适应选择，且算法在凸性假设下保持收敛性保证。
• 该方法通过允许近邻项基于历史梯度演化，推广了随机ADMM，提升了对非均匀数据和损失曲面的响应能力。
• 理论分析表明，所提算法的遗憾界与使用最优事后近邻函数所能达到的最优遗憾界一致，证明了自适应策略的最优性。

实验结果

研究问题

• RQ1 基于子梯度历史推导出的自适应近邻函数是否能相比固定二次近邻函数提升随机ADMM的收敛速度？
• RQ2 所提自适应随机ADMM的遗憾界是否与事后选择的最优近邻函数所能达到的理论下界一致？
• RQ3 在对角与完整自适应Hessian矩阵之间进行选择，如何影响收敛速度与计算成本之间的权衡？
• RQ4 所提方法是否能在真实世界机器学习数据集上实现比标准随机ADMM更快的收敛速度和更优的泛化性能？
• RQ5 自适应随机ADMM的对角与完整矩阵变体之间，计算效率的权衡关系如何？

主要发现

• 在a9a数据集上，Ada-SADMM diag的收敛速度显著快于SADMM，将目标值从2.6002降低至0.3550，耗时仅94.76秒，而SADMM耗时56.09秒。
• 在mushrooms数据集上，Ada-SADMM diag将测试误差从0.0350降低至0.0006，目标值从0.7353降低至0.0096，展现出更优的泛化与优化性能。
• 在大多数数据集上，Ada-SADMM full的目标值略优于Ada-SADMM diag，但计算时间显著增加（例如在a9a上为622.45秒 vs. 94.76秒），表明精度与速度之间存在权衡。
• 在w8a数据集上，Ada-SADMM diag将目标值从0.3357降低至0.1526，测试误差从0.0957降低至0.0931，耗时326.14秒——表现出对SADMM的一致性改进。
• 所提方法实现了与最优事后近邻函数相匹配的遗憾界，证明了自适应策略的理论最优性。
• 实证结果证实，基于自适应子梯度的近邻函数可加速收敛并提升泛化性能，其中Ada-SADMM diag在速度与性能之间实现了最佳平衡。