[论文解读] Bregman Finito/MISO for nonconvex regularized finite sum minimization without Lipschitz gradient continuity

Puya Latafat, Andreas Themelis+2 more|arXiv (Cornell University)|Feb 20, 2021

Sparse and Compressive Sensing Techniques参考文献 65被引用 4

一句话总结

该论文提出了Bregman Finito/MISO及其低内存变体，用于非凸正则化有限和最小化问题，且无需假设梯度的Lipschitz连续性。通过利用相对光滑性及Bregman Moreau包络作为李雅普诺夫函数，该工作在强凸性（随机）或Kurdyka-Łojasiewicz性质（循环/低内存）条件下建立了线性收敛性，显著放松了标准光滑性假设。

ABSTRACT

We introduce two algorithms for nonconvex regularized finite sum minimization, where typical Lipschitz differentiability assumptions are relaxed to the notion of relative smoothness. The first one is a Bregman extension of Finito/MISO, studied for fully nonconvex problems when the sampling is randomized, or under convexity of the nonsmooth term when it is essentially cyclic. The second algorithm is a low-memory variant, in the spirit of SVRG and SARAH, that also allows for fully nonconvex formulations. Our analysis is made remarkably simple by employing a Bregman Moreau envelope as Lyapunov function. In the randomized case, linear convergence is established when the cost function is strongly convex, yet with no convexity requirements on the individual functions in the sum. For the essentially cyclic and low-memory variants, global and linear convergence results are established when the cost function satisfies the Kurdyka-Łojasiewicz property.

研究动机与目标

• 在放松光滑性假设的条件下，解决非凸正则化有限和最小化问题，特别是无需假设Lipschitz连续梯度。
• 通过Bregman散度将Finito/MISO和SVRG/SARAH框架扩展至非凸设置。
• 在弱于以往工作的条件下，为增量聚合算法建立全局与线性收敛性。
• 通过将Bregman Moreau包络作为李雅普诺夫函数，简化收敛性分析。

提出的方法

• 提出Finito/MISO的Bregman扩展，其基于相对光滑性概念，而非Lipschitz可微性。
• 采用定义为Bregman Moreau包络的李雅普诺夫函数，统一并简化不同采样策略下的收敛性分析。
• 使用对偶变量表 $\bm{s}^k$ 跟踪梯度近似，并通过近端最小化步骤更新迭代点。
• 应用受SVRG和SARAH启发的低内存变体，仅维护一个梯度估计，并周期性更新。
• 提出一种新视角：将Finito/MISO解释为块坐标法，其中光滑项被嵌入到生成距离函数中。
• 通过证明李雅普诺夫函数 $\mathcal{L}(z^k, \bm{s}^k)$ 单调递减来建立收敛性，该函数等价于目标函数的Bregman Moreau包络。

实验结果

研究问题

• RQ1 Finito/MISO能否在不假设Lipschitz连续梯度的前提下，推广至非凸有限和问题？
• RQ2 能否在相对光滑性而非标准Lipschitz光滑性条件下保证线性收敛？
• RQ3 能否通过将Bregman Moreau包络作为李雅普诺夫函数，实现收敛性分析的简化与统一？
• RQ4 低内存变体在非凸设置下是否仍能保持全局与线性收敛性？
• RQ5 在不假设单个函数凸性的情况下，算法在何种条件下可实现全局且线性收敛？

主要发现

• 当整体目标函数为强凸时，即使单个 $f_i$ 为非凸，随机Bregman Finito/MISO变体仍能实现线性收敛。
• 对于基本循环和低内存变体，在Kurdyka-Łojasiewicz（KŁ）性质条件下，证明了全局与线性收敛性，该性质弱于强凸性。
• Bregman Moreau包络作为李雅普诺夫函数，沿迭代点单调递减，从而实现统一且简化的收敛性分析。
• 该算法通过依赖相对于Bregman距离的相对光滑性，避免了对Lipschitz梯度连续性的需求。
• 低内存变体仅需 $O(n)$ 内存，适用于大规模问题。
• 通过证明对偶变量更新保持不变量 $\tilde{s}^k = \sum_{i=1}^N s_i^k$，验证了理论结果，确保与全内存版本的一致性。