[论文解读] Bregman forward-backward splitting for nonconvex composite optimization: superlinear convergence to nonisolated critical points

Masoud Ahookhosh, Andreas Themelis+1 more|arXiv (Cornell University)|May 28, 2019

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出Bella，一种用于非凸复合优化的Bregman前向-后向分裂方法，可在非孤立临界点处实现局部超线性收敛。通过利用Bregman前向-后向包络（BFBE），一种具有有利一阶与二阶性质的惩罚函数，并在Lojasiewicz型条件下具备非线性误差界，该算法确保了全局收敛性，并在方向适切选择时实现超线性收敛速率。

ABSTRACT

We introduce Bella, a locally superlinearly convergent Bregman forward-backward splitting method for minimizing the sum of two nonconvex functions, one of which satisfying a relative smoothness condition and the other one possibly nonsmooth. A key tool of our methodology is the Bregman forward-backward envelope (BFBE), an exact and continuous penalty function with favorable first- and second-order properties, and enjoying a nonlinear error bound when the objective function satisfies a Lojasiewicz-type property. The proposed algorithm is of linesearch type over the BFBE along candidate update directions, and converges subsequentially to stationary points, globally under a KL condition, and owing to the given nonlinear error bound can attain superlinear convergence rates even when the limit point is a nonisolated minimum, provided the directions are suitably selected.

研究动机与目标

• 解决在极小值可能非孤立时，实现非凸复合优化中超线性收敛的挑战。
• 开发一种基于线搜索的算法，在Kurdyka-Lojasiewicz（KL）条件下确保全局收敛至驻点。
• 为Bregman前向-后向包络（BFBE）建立非线性误差界，从而即使在非孤立极小值处也能实现超线性收敛。
• 通过引入相对光滑性与非光滑分量，将Bregman方法的适用范围从凸设置扩展至更广领域。

提出的方法

• 该方法采用Bregman前向-后向包络（BFBE），一种精确且连续的惩罚函数，能够完整封装复合目标函数。
• BFBE被构造为具备有利的一阶与二阶性质，从而可通过线搜索实现高效下降。
• 在Lojasiewicz型条件下，为BFBE推导出非线性误差界，这对实现超线性收敛至关重要。
• 算法沿候选更新方向对BFBE执行线搜索，以确保充分下降。
• 通过Kurdyka-Lojasiewicz（KL）不等式建立收敛性，确保全局收敛至驻点。
• 当更新方向适切选择时，即使在非孤立临界点处，也能实现超线性收敛。

实验结果

研究问题

• RQ1 当极限点为非孤立时，Bregman前向-后向方法能否在非凸优化中实现超线性收敛？
• RQ2 客观函数需满足何种条件，才能确保Bregman前向-后向包络（BFBE）具有非线性误差界？
• RQ3 如何利用Bregman前向-后向包络来确保非凸设置下的全局收敛性与快速局部收敛速率？
• RQ4 相对光滑性条件在为非凸复合问题提供收敛保证中发挥何种作用？
• RQ5 在何种条件下，对BFBE的线搜索仍能实现超线性收敛，即使极小值点非孤立？

主要发现

• Bregman前向-后向包络（BFBE）是一种精确且连续的惩罚函数，具备有利的一阶与二阶性质。
• 当目标函数满足Lojasiewicz型条件时，BFBE满足非线性误差界。
• 在Kurdyka-Lojasiewicz（KL）条件下，可保证全局收敛至驻点。
• 只要更新方向适切选择，即使在非孤立临界点处，也能实现超线性收敛速率。
• 该算法基于对BFBE的线搜索，确保充分下降并具备稳健的收敛行为。
• 该方法适用于其中一个函数相对光滑、另一个函数可能非光滑的非凸复合问题。