[论文解读] BISTA: a Bregmanian proximal gradient method without the global Lipschitz continuity assumption.

Daniel Reem, Simeon Reich+1 more|arXiv (Cornell University)|Apr 19, 2018

Sparse and Compressive Sensing Techniques参考文献 40被引用 3

一句话总结

本文提出BISTA，一种新型的Bregman邻近梯度方法，消除了凸优化中光滑项梯度全局Lipschitz连续性假设的需求。通过利用Bregman散度和集合分解策略，BISTA在有限和无限维空间中，在实际条件下实现了非渐近收敛速率，并保证弱收敛至极小值点。

ABSTRACT

The problem of minimization of a separable convex objective function has various theoretical and real-world applications. One of the popular methods for solving this problem is the proximal gradient method (proximal forward-backward algorithm). A very common assumption in the use of this method is that the gradient of the smooth term in the objective function is globally Lipschitz continuous. However, this assumption is not always satisfied in practice, thus casting a limitation on the method. In this paper we discuss, in a wide class of finite and infinite-dimensional spaces, a new variant (BISTA) of the proximal gradient method which does not impose the above-mentioned global Lipschitz continuity assumption. A key contribution of the method is the dependence of the iterative steps on a certain decomposition of the objective set into subsets. Moreover, we use a Bregman divergence in the proximal forward-backward operation. Under certain practical conditions, a non-asymptotic rate of convergence (that is, in the function values) is established, as well as the weak convergence of the whole sequence to a minimizer. We also obtain a few auxiliary results of independent interest, among them a general and useful stability principle which, roughly speaking, says that given a uniformly continuous function defined on an arbitrary metric space, if we slightly change the objective set over which the optimal (extreme) values are computed, then these values vary slightly. This principle suggests a general scheme for tackling a wide class of non-convex and non-smooth optimization problems.

研究动机与目标

• 为解决邻近梯度方法依赖梯度全局Lipschitz连续性这一限制，该条件在实际应用中常被违反。
• 开发一种适用于有限维和无限维空间的新优化框架，其中此类梯度假设不成立。
• 在更弱、更实际的假设下，建立收敛保证——特别是非渐近速率和弱收敛。
• 提出一种关于扰动集合上优化的一般稳定性原理，可能推广至非凸和非光滑问题。
• 为处理可分凸最小化问题提供理论基础，而无需依赖强光滑性假设。

提出的方法

• 该方法在邻近前向-后向步骤中采用Bregman散度，替代经典邻近方法中使用的标准欧氏距离。
• 引入目标集合的分解，以指导迭代更新过程，并实现对非Lipschitz梯度的适应。
• 该算法设计用于一般度量空间，包括无限维Hilbert空间，从而扩大其适用范围，超越有限维设置。
• 收敛性分析依赖于一种新颖的稳定性原理：当可行集发生微小扰动时，最优值仅产生微小变化，前提是函数具有一致连续性。
• 迭代格式被构造为保持下降性质，并确保即使梯度非全局Lipschitz，也能实现收敛。
• 推导出函数值的非渐近收敛速率，建立实用的收敛界，而无需全局光滑性假设。

实验结果

研究问题

• RQ1 能否设计一种邻近梯度方法，在不假设梯度全局Lipschitz连续性的条件下实现收敛？
• RQ2 在非Lipschitz设定下，Bregman散度如何有效替代欧氏邻近项？
• RQ3 目标集合分解与函数结构的何种条件可确保在无限维空间中的收敛性？
• RQ4 能否建立关于扰动优化集合的一般稳定性原理，并用于推导收敛保证？
• RQ5 在弱于全局Lipschitz连续性的假设下，可实现何种非渐近收敛速率？

主要发现

• BISTA在实际条件下实现了函数值的非渐近收敛速率，即使在不假设全局Lipschitz连续性时亦成立。
• 该方法确保了在有限维和无限维空间中，整个序列弱收敛至极小值点。
• 建立了一般稳定性原理：一致连续函数在可行集发生微小扰动时，其函数值变化亦较小。
• 在邻近步骤中使用Bregman散度，使处理非光滑或非Lipschitz梯度更具灵活性。
• 将目标集合分解为子集，可实现自适应步长选择，并改善复杂设定下的收敛行为。
• 理论框架为将邻近方法推广至更广泛的非凸和非光滑优化问题提供了基础。