[论文解读] Fast Stochastic Variance Reduced ADMM for Stochastic Composition Optimization

Yue Yu, Longbo Huang|arXiv (Cornell University)|May 11, 2017

Stochastic Gradient Optimization Techniques参考文献 12被引用 3

一句话总结

本文提出 com-SVR-ADMM，这是首个基于 ADMM 的随机复合优化算法，适用于线性约束问题，通过随机方差缩减实现强凸、Lipschitz 光滑问题的线性收敛，并在凸情况下实现改进的收敛速率 $O(\log S/S)$，在收敛速度和鲁棒性方面优于先前方法。

ABSTRACT

We consider the stochastic composition optimization problem proposed in \cite{wang2017stochastic}, which has applications ranging from estimation to statistical and machine learning. We propose the first ADMM-based algorithm named com-SVR-ADMM, and show that com-SVR-ADMM converges linearly for strongly convex and Lipschitz smooth objectives, and has a convergence rate of $O( \log S/S)$, which improves upon the $O(S^{-4/9})$ rate in \cite{wang2016accelerating} when the objective is convex and Lipschitz smooth. Moreover, com-SVR-ADMM possesses a rate of $O(1/\sqrt{S})$ when the objective is convex but without Lipschitz smoothness. We also conduct experiments and show that it outperforms existing algorithms.

研究动机与目标

• 解决机器学习和估计中随机复合优化问题在存在线性约束时缺乏高效、可扩展算法的问题。
• 将先前用于标准随机优化的方差缩减技术，拓展至 ADMM 框架下的复合目标问题。
• 开发一种方法，其收敛速度优于现有亚线性率算法，特别是在强凸和凸设置下。
• 通过 ADMM 自然地整合正则化和约束，提升在风险规避学习和动态规划等实际问题中的广泛应用性。

提出的方法

• 提出 com-SVR-ADMM，一种基于 ADMM 的算法，将随机方差缩减（SVR）集成到随机复合问题的增广拉格朗日框架中。
• 采用双层循环结构：外层用于更新对偶变量，内层用于对复合目标函数进行方差缩减的梯度估计。
• 在内层和外层函数中均应用 SVR 以降低随机梯度的方差，提升收敛的稳定性和速度。
• 提出一种新颖的李雅普诺夫函数分析方法，通过增广拉格朗日的结构来界定期望次优性和约束违反的上界。
• 采用自适应步长和递归平均化方案，以在非独立同分布采样和有限样本设置下保持收敛性。
• 通过分析迭代过程中期望原对偶间隙和约束违反的减小量，推导出收敛保证。

实验结果

研究问题

• RQ1 方差缩减技术能否有效适配至 ADMM 框架，以解决随机复合优化问题？
• RQ2 在随机复合优化背景下，结合 SVR 与 ADMM 可实现何种收敛速率？
• RQ3 与现有亚线性率算法相比，com-SVR-ADMM 在收敛速度和鲁棒性方面表现如何？
• RQ4 当目标函数为凸但不满足 Lipschitz 光滑性时，该算法是否仍能适用，此时可实现何种收敛速率？
• RQ5 引入线性约束和正则化是否能提升实际问题（如风险规避学习或动态规划）中的性能表现？

主要发现

• com-SVR-ADMM 在强凸且 Lipschitz 光滑的目标函数下实现线性收敛，相较于以往的亚线性收敛速率有显著提升。
• 对于凸且 Lipschitz 光滑的目标函数，收敛速率为 $O(\log S / S)$，优于 Wang 等人（2016b）的 $O(S^{-4/9})$ 速率。
• 当目标函数为凸但不满足 Lipschitz 光滑性时，算法可实现 $O(1/\sqrt{S})$ 的收敛速率。
• 实验结果表明，com-SVR-ADMM 在多个基准问题上均优于现有算法，表现出更快的收敛速度和更优的解质量。
• 即使在非均匀采样和有限样本设置下，该算法仍保持稳定性和快速收敛，展现出良好的鲁棒性。
• 理论分析证实，约束违反和次优性均按所述速率衰减，该结论通过李雅普诺夫函数和递归有界技术得到验证。