[论文解读] Activity Identification and Local Linear Convergence of Forward--Backward-type methods

Jingwei Liang, Jalal Fadili+1 more|arXiv (Cornell University)|Mar 12, 2015

Sparse and Compressive Sensing Techniques参考文献 35被引用 6

一句话总结

本文提出了一套统一框架，用于分析非光滑凸优化中前向-后向型方法，证明了在相对于活跃流形具有部分光滑性的问题中，有限活动识别与局部线性收敛。该研究表明，诸如 FISTA 这类惯性算法由于参数动态特性，可能在局部发生振荡，并且收敛速度慢于标准前向-后向方法，从而解释了在 Lasso、组 Lasso 和核范数最小化问题中观察到的数值行为。

ABSTRACT

In this paper, we consider a class of Forward--Backward (FB) splitting methods that includes several variants (e.g. inertial schemes, FISTA) for minimizing the sum of two proper convex and lower semi-continuous functions, one of which has a Lipschitz continuous gradient, and the other is partly smooth relatively to a smooth active manifold $\mathcal{M}$. We propose a unified framework, under which we show that, this class of FB-type algorithms (i) correctly identifies the active manifolds in a finite number of iterations (finite activity identification), and (ii) then enters a local linear convergence regime, which we characterize precisely in terms of the structure of the underlying active manifolds. For simpler problems involving polyhedral functions, we show finite termination. We also establish and explain why FISTA (with convergent sequences) locally oscillates and can be slower than FB. These results may have numerous applications including in signal/image processing, sparse recovery and machine learning. Indeed, the obtained results explain the typical behaviour that has been observed numerically for many problems in these fields such as the Lasso, the group Lasso, the fused Lasso and the nuclear norm regularization to name only a few.

研究动机与目标

• 在统一框架下统一分析前向-后向型方法，包括惯性变体和 FISTA。
• 在部分光滑性假设下，建立有限活动识别——即在有限时间内识别出活跃流形。
• 精确刻画局部线性收敛速率，基于活跃流形的几何结构。
• 解释为何当惯性参数收敛时，FISTA 会出现局部振荡且收敛慢于标准前向-后向方法，从而解决长期存在的开放问题。

提出的方法

• 提出广义惯性前向-后向算法（iFB），引入参数 ak 和 bk，以统一现有方法，包括标准前向-后向和 FISTA。
• 利用相对于光滑活跃流形 M 的部分光滑性概念，来建模优化中的结构化稀疏性和低秩性。
• 在极小值点 x⋆ 附近对目标函数进行局部线性化，利用 F 的二阶展开以及对活跃流形切空间的投影。
• 基于 F 的 Hessian 矩阵和对活跃流形切空间的投影算子，推导出线性化迭代矩阵 M。
• 采用类似李雅普诺夫的分析方法，并对迭代矩阵进行特征值分析，以建立局部线性收敛性。
• 利用中值定理和算子估计，对误差动态进行有界处理，并基于惯性参数与流形结构推导收敛速率。

实验结果

研究问题

• RQ1 在部分光滑性问题中，前向-后向型方法在什么条件下能在有限次迭代内识别出活跃流形？
• RQ2 为何当惯性参数收敛时，FISTA 会出现局部振荡且收敛慢于标准前向-后向方法？
• RQ3 惯性参数 ak 和 bk 如何影响迭代的局部收敛速率与稳定性？
• RQ4 局部线性收敛速率能否通过活跃流形的几何结构与 F 的 Hessian 矩阵精确刻画？
• RQ5 在何种条件下，该框架能保证多面体问题的有限终止？

主要发现

• 所提出的 iFB 方法在部分光滑性问题中实现了有限活动识别，即在有限次迭代内正确识别出活跃流形。
• 活动识别之后，迭代点进入局部线性收敛阶段，收敛速率由基于 F 的 Hessian 矩阵与活跃流形切空间的投影算子所导出的矩阵的特征值决定。
• 对于多面体问题，该方法表现出有限终止，即在有限步内收敛。
• 当惯性参数收敛时（例如 ak = bk = k−1/k+q，q > 2），FISTA 可能在局部发生振荡，并且收敛慢于标准前向-后向方法，原因在于线性化系统中特征值动态的不稳定性。
• 局部收敛速率通过迭代矩阵 M 的谱性质定量刻画，该矩阵依赖于惯性参数与流形结构。
• 当活跃流形为线性子空间，且 F 的 Hessian 矩阵在法空间上正定，则收敛速率由包含惯性参数与投影算子的矩阵的谱半径决定。