[论文解读] Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth Nonconvex Statistical Learning

Yiyuan She, Zhifeng Wang+1 more|arXiv (Cornell University)|Dec 16, 2021

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

该论文提出了一种广义Bregman代理框架，用于非光滑、非凸的统计学习，可在正则性条件下实现全局收敛且收敛速度为几何级。该框架为算法的不动点建立了可证明的统计保证，并设计了无需凸性或光滑性假设的自适应动量加速方法。

ABSTRACT

Modern statistical applications often involve minimizing an objective function that may be nonsmooth and/or nonconvex. This paper focuses on a broad Bregman-surrogate algorithm framework including the local linear approximation, mirror descent, iterative thresholding, DC programming and many others as particular instances. The recharacterization via generalized Bregman functions enables us to construct suitable error measures and establish global convergence rates for nonconvex and nonsmooth objectives in possibly high dimensions. For sparse learning problems with a composite objective, under some regularity conditions, the obtained estimators as the surrogate's fixed points, though not necessarily local minimizers, enjoy provable statistical guarantees, and the sequence of iterates can be shown to approach the statistical truth within the desired accuracy geometrically fast. The paper also studies how to design adaptive momentum based accelerations without assuming convexity or smoothness by carefully controlling stepsize and relaxation parameters.

研究动机与目标

• 解决高维统计学习中非凸、非光滑优化缺乏统一收敛速率分析的问题。
• 在统一的Bregman代理框架下，为包括LLA、迭代阈值法和镜像下降法在内的广泛算法类群提供全局收敛保证。
• 在复合目标函数中建立不动点估计器的统计精度，即使其并非局部极小值点。
• 设计不依赖凸性或光滑性假设的自适应动量加速方案。
• 在稀疏高维模型中，证明迭代序列可实现快速、几何级收敛至统计真值。

提出的方法

• 通过广义Bregman代理 $ g(\boldsymbol{\beta}; \boldsymbol{\beta}^{(t)}) = f(\boldsymbol{\beta}) + \Delta_{\psi}(\boldsymbol{\beta}, \boldsymbol{\beta}^{(t)}) $ 重新表述优化问题，其中 $ \psi $ 不受光滑性或凸性限制。
• 利用广义Bregman函数构造问题特定的误差度量，以实现严谨的收敛性分析。
• 在 $ \boldsymbol{\beta} = \boldsymbol{\beta}^{(t)} $ 处应用MM原理并实现高阶匹配，避免严格主导约束。
• 引入自适应步长与松弛参数，实现在非凸、非光滑设置下的动量加速。
• 利用广义Bregman函数的微分性质推导出紧致的正则性条件，并简化理论证明。
• 在高维设置下，对 $ P_H $-惩罚回归问题验证该框架，采用二次损失和Tukey双权损失函数。

Figure C.1: Log-log plot of optimization error v.s. number of iterations: mirror descent for IS divergence minimization with 50 random starting points. All error curves are bounded above by the dashed line which has slope $-1$ .

实验结果

研究问题

• RQ1 能否构建一个统一框架，用于分析非光滑、非凸统计学习问题的全局收敛速率？
• RQ2 在复合目标函数中，Bregman代理算法的不动点是否具备可证明的统计精度，即使其并非局部极小值点？
• RQ3 能否成功将基于动量的加速方法推广至非凸、非光滑问题，且无需假设光滑性或凸性？
• RQ4 在此框架下，高维稀疏模型中迭代序列向统计真值的收敛速度如何？
• RQ5 自适应步长与松弛参数在实际中对计算效率与统计精度有何影响？

主要发现

• 广义Bregman代理框架统一并重新诠释了现有算法，如LLA、迭代阈值法和镜像下降法，置于同一理论框架之下。
• 在正则性条件下，迭代序列 $ \boldsymbol{\beta}^{(t)} $ 以几何级速度快速收敛至统计真值 $ \boldsymbol{\beta}^* $，统计误差呈指数下降。
• 在复合目标函数设置下，算法的不动点即使不是局部极小值点，也能实现极小化最优的统计精度。
• 收敛速率由Bregman差异度量 $ \Delta_{\psi}(\boldsymbol{\beta}^*, \boldsymbol{\beta}^{(t)}) $ 决定，该度量在迭代的早期与后期阶段均呈现指数衰减。
• 自适应动量加速显著减少迭代次数（最多达90%），在IS散度最小化中将整体运行时间减少30%以上，在鲁棒回归中提升了统计精度。
• 模拟结果证实，所有初始点均收敛至相同量级的统计精度，验证了该框架的全局收敛性与鲁棒性。

Figure C.2: Log-log plot of optimization error v.s. number of iterations: DC programming for capped- $\ell_{1}$ SVM (50 different initial points).