[论文解读] On the convergence of the proximal forward-backward splitting method with linesearches

Yunier Bello-Cruz, T. T. A. Nghia|arXiv (Cornell University)|Jan 11, 2015

Sparse and Compressive Sensing Techniques参考文献 36被引用 12

一句话总结

本文在不假设梯度满足Lipschitz连续性的情况下，建立了希尔伯特空间中非光滑凸优化的近似前向-后向分裂法的弱收敛性。通过引入两种新颖的线搜索策略，该方法实现了收敛性，并在步长下界为正数时，提供了目标函数值改进的复杂度界。

ABSTRACT

In this paper we focus on the convergence analysis of the proximal forward-backward splitting method for solving nonsmooth optimization problems in Hilbert spaces when the objective function is the sum of two convex functions. Assuming that one of the functions is Fr\'echet differentiable and using two new linesearches, the weak convergence is established without any Lipschitz continuity assumption on the gradient. Furthermore, we obtain many complexity results of cost values at the iterates when the stepsizes are bounded below by a positive constant.

研究动机与目标

• 分析希尔伯特空间中凸优化的近似前向-后向分裂法的收敛性。
• 去除对可微分部分梯度的标准Lipschitz连续性假设。
• 通过两种新的线搜索策略自适应选择步长，实现弱收敛性。
• 在步长下界为正数的假设下，推导目标函数值下降的复杂度结果。

提出的方法

• 该方法对两个凸函数之和应用前向-后向分裂格式，其中一个函数为Fréchet可微函数。
• 引入两种新的线搜索策略，以动态选择步长，而无需梯度Lipschitz连续性的要求。
• 线搜索策略确保目标函数值的充分下降，同时保持收敛性质。
• 分析在希尔伯特空间框架下进行，允许推广至无限维问题。
• 利用变分不等式论证和近端算子的性质，证明了弱收敛性。
• 在步长下界为正数的假设下，进行了复杂度分析。

实验结果

研究问题

• RQ1 是否可以在不假设梯度Lipschitz连续性的前提下，建立近似前向-后向方法的弱收敛性？
• RQ2 如何设计线搜索策略，以在避免梯度Lipschitz假设的前提下确保收敛性？
• RQ3 当步长下界为正数时，可以为目标函数值的减少推导出何种复杂度界？
• RQ4 所提出的方法是否在无限维希尔伯特空间中仍保持收敛性？

主要发现

• 在不假设可微函数梯度为Lipschitz连续的条件下，证明了迭代序列的弱收敛性。
• 所提出的线搜索策略确保了目标函数值的充分下降，并在最小假设下支持收敛性。
• 当步长下界为正数时，该方法在迭代点处实现了目标函数值下降的复杂度界。
• 收敛性分析适用于一般希尔伯特空间，扩展了其在无限维优化问题中的适用性。