[论文解读] A unified framework for Bregman proximal methods: subgradient, gradient, and accelerated gradient schemes

David H. Gutman, Javier Peña|arXiv (Cornell University)|Dec 26, 2018

Sparse and Compressive Sensing Techniques被引用 10

一句话总结

本文提出了一套统一的框架，用于分析凸优化中的Bregman近端一阶方法，利用凸共轭性质证明了次梯度、梯度和加速梯度算法的收敛速率。该框架提出了一种新型加速Bregman近端梯度算法，在相对光滑性和三角形缩放假设下，实现了目前已知的最佳收敛速率，且无需事先知晓光滑性或缩放常数。

ABSTRACT

We provide a unified framework for analyzing the convergence of Bregman proximal first-order algorithms for convex minimization. Our framework hinges on properties of the convex conjugate and gives novel proofs of the convergence rates of the Bregman proximal subgradient, Bregman proximal gradient, and a new accelerated Bregman proximal gradient algorithm under fairly general and mild assumptions. Our accelerated Bregman proximal gradient algorithm attains the best-known accelerated rate of convergence when suitable relative smoothness and triangle scaling assumptions hold. However, the algorithm requires no prior knowledge of any related smoothness or triangle scaling constants.

研究动机与目标

• 利用凸共轭性质统一分析Bregman近端一阶算法在凸最小化中的行为。
• 在一般且温和的假设下，建立Bregman近端次梯度、梯度和加速梯度方法的收敛速率。
• 设计一种新型加速Bregman近端梯度算法，实现在无需事先知晓光滑性或三角形缩放常数情况下的最优收敛速率。
• 提供新颖的收敛性证明，其简洁性与通用性优于现有方法。

提出的方法

• 该框架基于凸共轭的性质，用于分析并统一不同Bregman近端方案的收敛行为。
• 提出一种新型加速Bregman近端梯度算法，可动态适应问题结构，而无需知晓光滑性或三角形缩放常数。
• 收敛速率通过相对光滑性和三角形缩放假设推导得出，这些假设具有广泛性和温和性。
• 该方法利用Bregman散度定义近端算子，推广了标准的欧几里得投影。
• 通过利用对偶性和凸共轭恒等式，边界化迭代点的进展，建立收敛速率。
• 该框架使得次梯度、梯度和加速方案在单一理论框架下得到统一处理。

实验结果

研究问题

• RQ1 如何在单一理论框架下分析Bregman近端次梯度、梯度和加速梯度方法？
• RQ2 实现Bregman近端一阶方法收敛所需的最小假设是什么？
• RQ3 能否设计一种加速Bregman近端梯度算法，使其在不预先知晓光滑性或缩放常数的情况下达到目前已知的最佳收敛速率？
• RQ4 凸共轭性质如何实现这些方法更简洁、更通用的收敛性证明？

主要发现

• 所提出的框架通过凸共轭分析，为Bregman近端次梯度和梯度方法提供了新颖且简化的收敛速率证明。
• 新型加速Bregman近端梯度算法在相对光滑性和三角形缩放假设下，实现了目前已知的最佳收敛速率。
• 该算法无需事先知晓光滑性或三角形缩放常数，显著增强了其实际适用性。
• 收敛性分析在相当广泛且温和的假设下成立，从而扩展了适用优化问题的范围。