[论文解读] An inertial Tseng's type proximal algorithm for nonsmooth and nonconvex optimization problems

Radu Ioan Boţ, Ernö Robert Csetnek|arXiv (Cornell University)|Jun 3, 2014

Optimization and Variational Analysis参考文献 29被引用 6

一句话总结

本文提出了一种非光滑且非凸优化的惯性Tseng型邻近算法，结合了前向-后向-前向步骤，并通过Bregman距离引入惯性和记忆效应。主要贡献在于在Kurdyka-Łojasiewicz（KL）不等式条件下实现收敛，该不等式对半代数函数成立，确保了迭代序列全局收敛至临界点。

ABSTRACT

We investigate the convergence of a forward-backward-forward proximal-type algorithm with inertial and memory effects when minimizing the sum of a nonsmooth function with a smooth one in the absence of convexity. The convergence is obtained provided an appropriate regularization of the objective satisfies the Kurdyka-Łojasiewicz inequality, which is for instance fulfilled for semi-algebraic functions.

研究动机与目标

• 开发一种一阶算法，用于在非凸设置下最小化一个非光滑函数与一个光滑函数之和。
• 将惯性和记忆效应整合到Tseng型前向-后向-前向格式中，以加速收敛。
• 在Kurdyka-Łojasiewicz（KL）不等式条件下建立收敛保证，该不等式是KL性质在非光滑、非凸函数中的推广。
• 通过在邻近步骤中使用Bregman距离而非平方范数，将现有惯性邻近方法扩展至非凸问题。
• 在半代数函数上验证该方法，其包括稀疏优化和矩阵分解问题等重要类别。

提出的方法

• 该算法采用前向-后向-前向结构：对光滑函数的梯度执行前向步，通过Bregman邻近算子执行后向步，再执行第二轮前向步。
• Bregman距离取代了标准平方范数在邻近算子中的使用，从而在非凸设置下提供更大的灵活性。
• 通过利用前两个迭代点来定义下一个迭代点，引入惯性项，以提升收敛速度。
• 收敛性通过三个关键要素证明：增广目标函数的充分递减性、迭代点差的次梯度下界，以及目标函数的解析性质。
• 分析依赖于极限（Mordukhovich）次微分和正则化目标函数的KL不等式。
• 引入一个涉及连续迭代点差的二次惩罚项的正则化项，以确保KL条件成立。

实验结果

研究问题

• RQ1 惯性Tseng型前向-后向-前向算法能否在非凸、非光滑优化问题中实现全局收敛？
• RQ2 在非凸设置下，惯性和记忆效应的引入在何种条件下可保持收敛性？
• RQ3 当KL不等式应用于目标函数的正则化版本时，是否能确保算法收敛？
• RQ4 与使用平方范数相比，使用Bregman距离在非凸优化中的收敛性有何影响？
• RQ5 哪些函数类，如半代数函数，满足收敛所需的解析条件？

主要发现

• 当正则化目标函数满足Kurdyka-Łojasiewicz不等式时，该算法可全局收敛至目标函数的临界点。
• 收敛性在较弱假设下成立，包括光滑部分梯度的Lipschitz连续性以及Bregman距离生成器的强凸性。
• 对于半代数函数（包括稀疏优化问题和矩阵分解问题），该算法收敛至临界点。
• 迭代序列及其惯性近似序列均收敛至同一极限点，且连续迭代点差的和为可 summable。
• 收敛速率未显式量化，但迭代点差的可和性意味着在广义意义上具有线性收敛性。
• 该方法通过引入基于Bregman距离的三步前向-后向-前向结构，推广了先前的惯性前向-后向方案。