[论文解读] Activity Identification and Local Linear Convergence of Inertial Forward-Backward Splitting

Jingwei Liang, Jalal Fadili+1 more|arXiv (Cornell University)|Mar 12, 2015

Sparse and Compressive Sensing Techniques参考文献 8被引用 3

一句话总结

本文提出了一种统一分析惯性前向-后向（iFB）分裂算法的方法，用于最小化复合凸函数，其中一项目标函数是Lipschitz连续可微的，另一项是相对于活动流形𝒩的局部光滑函数。该研究建立了有限次活动流形识别和局部线性收敛性，为Lasso、组Lasso及总变差最小化等问题中观察到的数值行为提供了理论依据。

ABSTRACT

We consider the class of inertial Forward--Backward (iFB) proximal splitting algorithms, to minimize the sum of two proper lower semi-continuous convex functions, one of which having a Lipschitz continuous gradient and the other being partly smooth relative to an active manifold $\mathcal{M}$. Special cases of this class include the FB and, for an appropriate choice of the inertial parameter, FISTA-like schemes. We propose a unified analysis, under which we show that iFB-type splitting, (i) correctly identifies the active manifold $\mathcal{M}$ in a finite number of iterations, and then (ii) enters a local (linear) convergence regime, which is characterised precisely. This gives a grounded justification to the typical behaviour that has been observed numerically for many problems encompassed in our framework, including the Lasso, the group Lasso, total variation minimization and the nuclear norm regularization to name a few. These results may have numerous applications including in signal/image processing processing and machine learning.

研究动机与目标

• 为复合凸优化中的惯性前向-后向分裂方法提供统一的理论框架。
• 解释iFB类算法中有限次活动流形识别现象，该现象在实际应用中普遍存在。
• 在部分光滑性和Lipschitz梯度假设下，建立iFB算法在活动流形识别后的局部线性收敛性。
• 为FISTA类方法和惯性算法在Lasso、组Lasso及核范数正则化等问题中的经验成功提供理论支持。
• 在活动流形识别后，精确刻画局部收敛行为的特征。

提出的方法

• 该分析利用相对于活动流形𝒩的部分光滑性概念，从而能够对问题的几何结构进行系统化刻画。
• 该方法采用带有自适应惯性参数的惯性前向-后向分裂格式，推广了标准的FISTA和FB方法。
• 通过分析迭代序列的轨迹，证明了有限次活动流形识别，即迭代点最终进入并停留在活动流形的邻域内。
• 通过利用误差界性质和部分光滑性结构，建立了局部线性收敛性，从而在识别后获得线性收敛速率。
• 分析依赖于变分分析和单调算子理论的工具，特别是近端算子和梯度映射的性质。
• 该框架具有足够的通用性，可涵盖Lasso、组Lasso、总变差及低秩矩阵恢复等经典问题作为特例。

实验结果

研究问题

• RQ1 在部分光滑复合问题下，惯性前向-后向分裂算法是否能在有限次迭代内识别出正确的活动流形？
• RQ2 在活动流形识别后，何种条件可保证iFB算法的局部线性收敛性？
• RQ3 惯性参数如何影响iFB方法的收敛行为与流形识别过程？
• RQ4 所提出的框架在多大程度上统一了FISTA类方法与标准FB方法的分析？
• RQ5 理论收敛性质是否能够解释Lasso和核范数最小化等问题中观察到的数值性能？

主要发现

• 在给定假设下，iFB算法可在有限次迭代内识别出活动流形𝒩。
• 活动流形识别后，迭代序列以局部线性速率收敛，收敛速率取决于流形上问题的曲率与条件数。
• 通过误差界性质与部分光滑性结构，精确刻画了收敛速率。
• 该框架统一了FISTA与标准FB方法的分析，表明当惯性参数选择适当时，两者均处于相同的收敛机制下。
• 研究结果为Lasso、组Lasso及总变差最小化等问题中观察到的快速收敛现象提供了理论依据。
• 该分析适用于包括稀疏优化与低秩优化在内的广泛问题类别，证实了iFB类方法在信号与图像处理及机器学习中的鲁棒性。