[论文解读] A Stochastic Decoupling Method for Minimizing the Sum of Smooth and Non-Smooth Functions

Konstantin Mishchenko, Peter Richtárik|arXiv (Cornell University)|May 27, 2019

Sparse and Compressive Sensing Techniques参考文献 58被引用 7

一句话总结

本文提出了一种新颖的随机解耦方法，用于最小化光滑与非光滑凸函数之和，其中非光滑部分为可计算近端算子函数的有限平均。通过迭代采样并更新各分量的近端算子，该方法实现了方差缩减，并在强凸性假设下可证明达到线性收敛速率，推广了现有算法，为机器学习与优化中的大规模问题提供了高效解决方案。

ABSTRACT

We consider the problem of minimizing the sum of three convex functions: i) a smooth function $f$ in the form of an expectation or a finite average, ii) a non-smooth function $g$ in the form of a finite average of proximable functions $g_j$, and iii) a proximable regularizer $R$. We design a variance-reduced method which is able to progressively learn the proximal operator of $g$ via the computation of the proximal operator of a single randomly selected function $g_j$ in each iteration only. Our method can provably and efficiently accommodate many strategies for the estimation of the gradient of $f$, including via standard and variance-reduced stochastic estimation, effectively decoupling the smooth part of the problem from the non-smooth part. We prove a number of iteration complexity results, including a general ${\cal O}(1/t)$ rate, ${\cal O}(1/t^2)$ rate in the case of strongly convex smooth $f$, and several linear rates in special cases, including accelerated linear rate. For example, our method achieves a linear rate for the problem of minimizing a strongly convex function $f$ subject to linear constraints under no assumption on the constraints beyond consistency. When combined with SGD or SAGA estimators for the gradient of $f$, this leads to a very efficient method for empirical risk minimization. Our method generalizes several existing algorithms, including forward-backward splitting, Douglas-Rachford splitting, proximal SGD, proximal SAGA, SDCA, randomized Kaczmarz and Point-SAGA. However, our method leads to many new specific methods in special cases; for instance, we obtain the first randomized variant of the Dykstra's method for projection onto the intersection of closed convex sets.

研究动机与目标

• 为高效求解包含大量非光滑分量的复合凸优化问题提供解决方案。
• 开发一种方差缩减方法，通过采样单个分量而非直接计算完整非光滑项的近端算子，避免其直接计算。
• 在最小假设下实现非光滑问题的线性收敛速率，包括当非光滑函数不满足Lipschitz连续或强凸性时。
• 推广现有算法（如近端SGD、SAGA、SDCA）并支持新变体，例如随机化Dykstra方法。
• 将光滑与非光滑部分的处理解耦，允许灵活集成各类梯度估计器（如SGD、SAGA、SVRG）。

提出的方法

• 该方法采用随机解耦策略，在每次迭代中均匀随机采样一个索引 $ j $，以计算 $ g_j $ 的近端算子，而非 $ g $ 的近端算子。
• 使用李雅普诺夫函数分析收敛性，结合原始迭代序列、对偶变量以及类似动量的项以追踪优化进度。
• 算法对光滑函数 $ f $ 集成方差缩减的梯度估计器（如SAGA或SVRG），同时为 $ f $、$ R $ 和 $ g_j $ 分别设置独立的步长。
• 引入步长规则 $ \eta_j = \eta / (m p_j) $，根据采样概率平衡各非光滑分量的影响。
• 通过允许随机选择非光滑项并自适应控制步长，推广了前向-后向分裂与Douglas-Rachford分裂方法。
• 支持一种投影到凸集交集上的随机化Dykstra算法变体，这是非光滑可行性问题的一项新贡献。

实验结果

研究问题

• RQ1 是否能够设计一种随机方法，在不假设各 $ g_j $ 满足Lipschitz连续或强凸性条件下，实现非光滑有限和问题的线性收敛？
• RQ2 当 $ g $ 的近端算子难以计算时，如何有效对非光滑分量 $ g = \frac{1}{m} \sum_{j=1}^m g_j $ 实现方差缩减？
• RQ3 是否能够通过解耦光滑与非光滑部分，将 $ f $ 的高效梯度估计器与非光滑结构的渐进学习相结合？
• RQ4 是否可以将SAGA或SDCA等现有分裂方法推广至处理大规模非光滑有限和问题，并保证线性收敛？
• RQ5 该框架是否能够支持新算法，如用于凸可行性问题的随机化Dykstra方法？

主要发现

• 该方法在凸问题下达到一般 $ \mathcal{O}(1/t) $ 的收敛速率，与光滑问题的最佳已知速率一致。
• 在 $ f $ 强凸的条件下，方法可实现更快的 $ \mathcal{O}(1/t^2) $ 收敛速率，且在特定情况下可达到线性收敛，包括加速线性速率。
• 对于在仿射约束下最小化强凸函数 $ f $ 的问题，该方法在仅假设约束矩阵一致的前提下即可实现线性收敛。
• 当与SAGA或SGD梯度估计器结合用于 $ \nabla f $ 时，该方法在每轮迭代中成本更低，实现了高效的经验风险最小化。
• 该方法推广了10余种现有算法，包括近端SGD、SAGA、SDCA、随机化Kaczmarz和Douglas-Rachford方法，并首次提出用于投影到凸集交集上的随机化Dykstra方法。
• 数值实验表明，由于高效利用了随机非光滑更新，该方法在 $ m $ 较大时相比全投影SVRG显著减少了数据遍历次数。