[论文解读] Dualize, Split, Randomize: Fast Nonsmooth Optimization Algorithms.

Adil Salim, Laurent Condat+2 more|arXiv (Cornell University)|Apr 3, 2020

Stochastic Gradient Optimization Techniques参考文献 14被引用 6

一句话总结

本文提出了一种新颖的原始-对偶算法，用于最小化三个凸函数的和——包括光滑（可能为随机的）、可求近的以及与线性映射复合的函数——通过方差缩减和一种新的随机Davis-Yin分裂框架实现。该算法在强凸性存在与否的情况下，分别实现了精确的次线性或线性收敛速率，覆盖了先前方法未解决的各类情形。

ABSTRACT

We introduce new primal-dual algorithms to minimize the sum of three convex functions, each having its own oracle. Namely, the first one is differentiable, smooth and possibly stochastic, the second is proximable, and the last one is a composition of a proximable function with a linear map. By leveraging variance reduction, we prove convergence to an exact solution with sublinear or linear rates, depending on strong convexity properties. The proposed theory is simple and unified by the umbrella of stochastic Davis-Yin splitting, which we first design in this work. Our theory covers several settings that are not tackled by any existing algorithm; we illustrate their importance with real-world applications and we show the efficiency of our algorithms by numerical experiments.

研究动机与目标

• 填补现有优化算法在最小化三类不同预言机类型凸函数之和方面的空白。
• 在非光滑、复合及随机设置下实现精确收敛，而这些情形下先前方法失效或效率低下。
• 通过一种新颖的随机Davis-Yin分裂框架，统一并拓展现有方法。
• 设计能够同时处理光滑（可能为随机的）、可求近的以及与线性映射复合的凸函数的算法。
• 通过真实世界应用和数值实验，展示算法的实际效率。

提出的方法

• 提出一种基于随机Davis-Yin分裂的原始-对偶算法，该理论框架为本文所设计的新方法。
• 将优化问题分解为三个部分：一个光滑（可能为随机的）函数、一个可求近的函数，以及一个可求近函数与线性映射的复合。
• 利用方差缩减技术加速收敛并确保精确解的恢复。
• 通过引入对偶化处理复合项，并将问题分解为可处理的子问题。
• 通过引入随机化提升在随机设置下的鲁棒性与可扩展性。
• 通过基于新随机Davis-Yin分裂框架的统一理论分析，确保收敛性。

实验结果

研究问题

• RQ1 我们能否设计出一个单一的算法框架，高效处理三类不同预言机类型凸函数之和？
• RQ2 如何将方差缩减有效结合到原始-对偶分裂中，实现在非光滑和随机设置下的精确收敛？
• RQ3 在不同强凸性假设下，此类算法的收敛速率如何？
• RQ4 所提方法能否覆盖现有优化算法未解决的问题类别？
• RQ5 与最先进方法相比，该算法在真实世界应用中的表现如何？

主要发现

• 所提算法在一般凸性假设下可实现对最优解的精确收敛。
• 对于非强凸问题，建立了次线性收敛速率；当存在强凸性时，可实现线性收敛速率。
• 该方法是首个在单一统一框架内处理三类函数之和（光滑（可能为随机的）、可求近的、与线性映射复合的可求近函数）的方法。
• 成功将方差缩减集成到原始-对偶分裂过程中，实现在随机设置下的高效且稳定的收敛。
• 数值实验证实，该算法在真实世界应用中相比现有方法具有更高的效率和优越性。
• 本文提出的随机Davis-Yin分裂框架为分析和设计此类算法提供了统一的理论基础。