[论文解读] A Multi-step Inertial Forward--Backward Splitting Method for Non-convex Optimization

Jingwei Liang, Jalal Fadili+1 more|arXiv (Cornell University)|Jun 7, 2016

Sparse and Compressive Sensing Techniques参考文献 13被引用 12

一句话总结

该论文提出了一种用于非凸、非光滑优化问题的多步惯性前向-后向分裂方法，该问题涉及一个适当下确界连续函数与一个具有Lipschitz连续梯度的可微函数之和。在Kurdyka–Łojasiewicz性质下建立了全局收敛性，并在非光滑分量相对于子流形为部分光滑时，实现了有限时间内的活动流形识别与精确的局部线性收敛速率。

ABSTRACT

In this paper, we propose a multi-step inertial Forward--Backward splitting algorithm for minimizing the sum of two non-necessarily convex functions, one of which is proper lower semi-continuous while the other is differentiable with a Lipschitz continuous gradient. We first prove global convergence of the scheme with the help of the Kurdyka-Łojasiewicz property. Then, when the non-smooth part is also partly smooth relative to a smooth submanifold, we establish finite identification of the latter and provide sharp local linear convergence analysis. The proposed method is illustrated on a few problems arising from statistics and machine learning.

研究动机与目标

• 解决惯性方法在非凸、非光滑优化设置下缺乏收敛性保证的问题。
• 设计一种灵活的多步惯性方案，允许负的惯性参数和更高的记忆长度。
• 在Kurdyka–Łojasiewicz性质下，证明迭代序列全局收敛至临界点。
• 研究当非光滑分量相对于子流形为部分光滑时的局部收敛行为。
• 提供精确的局部线性收敛速率，并阐明活动流形在收敛速度中的作用。

提出的方法

• 提出一种利用过去迭代记忆和惯性参数的多步惯性前向-后向（MiFB）算法。
• 引入两个外推步骤：$ y^{a,k} = x^k + \sum_{i\in I} a_{i,k}(x^{k-i} - x^{k-i-1}) $ 和 $ y^{b,k} = x^k + \sum_{i\in I} b_{i,k}(x^{k-i} - x^{k-i-1}) $，其中 $ a_{i,k}, b_{i,k} \in (-1, 2] $。
• 通过非光滑函数 $ R $ 的近端算子应用：$ x^{k+1} \in \text{prox}_{\gamma_k R}(y^{a,k} - \gamma_k \nabla F(y^{b,k})) $。
• 利用Kurdyka–Łojasiewicz性质证明有界序列全局收敛至临界点。
• 在部分光滑性与 $ F $ 在 $ x^\star $ 附近局部 $ C^2 $ 光滑的条件下，证明活动流形 $ M_{x^\star} $ 的有限识别。
• 通过分析活动流形上线性化动力学的矩阵谱半径，推导出精确的局部线性收敛速率。

实验结果

研究问题

• RQ1 多步惯性前向-后向方法能否在非凸、非光滑复合优化问题中实现全局收敛？
• RQ2 当非光滑函数为部分光滑时，该算法在何种条件下可有限时间内识别活动流形？
• RQ3 所提方法的精确局部线性收敛速率是多少，其与活动流形几何结构的关系如何？
• RQ4 惯性参数（包括负值）在非凸区域中如何影响收敛行为？
• RQ5 是否可利用局部收敛分析设计更高阶的加速方案？

主要发现

• 在Kurdyka–Łojasiewicz性质与目标函数有界性下，证明了迭代序列全局收敛至临界点。
• 当 $ R $ 相对于 $ M_{x^\star} $ 为部分光滑且 $ F $ 在 $ x^\star $ 附近局部 $ C^2 $ 时，证明了活动流形 $ M_{x^\star} $ 的有限识别。
• 局部收敛速率为线性且精确，其速率由涉及 $ \Phi $ 的Hessian矩阵在活动流形上限制的谱半径决定。
• 收敛速率显式依赖于活动流形 $ M_{x^\star} $ 的几何结构，其中 Hessian $ \nabla^2_{M_{x^\star}} \Phi(x^\star) $ 起核心作用。
• 该方法允许使用负的惯性参数和更高的记忆长度，扩展了先前的惯性方案。
• 分析表明，在有限时间流形识别后，问题简化为在 $ M_{x^\star} $ 上最小化 $ \Phi $，在适当条件下可实现更高阶加速。