[论文解读] Local Linear Convergence of Forward-Backward under Partial Smoothness

Jingwei Liang, Jalal Fadili+1 more|arXiv (Cornell University)|Jul 21, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用 42

一句话总结

本文在正则项相对于活跃流形呈部分光滑性时，建立了前向-后向算法在复合凸优化中的局部线性收敛性。证明了活跃流形的有限识别，并根据流形结构精确刻画了局部R线性或Q线性收敛速率，统一了Lasso、组Lasso、融合Lasso及核范数问题的收敛行为。

ABSTRACT

In this paper, we consider the Forward--Backward proximal splitting algorithm to minimize the sum of two proper convex functions, one of which having a Lipschitz continuous gradient and the other being partly smooth relative to an active manifold $\mathcal{M}$. We propose a generic framework under which we show that the Forward--Backward (i) correctly identifies the active manifold $\mathcal{M}$ in a finite number of iterations, and then (ii) enters a local linear convergence regime that we characterize precisely. This gives a grounded and unified explanation to the typical behaviour that has been observed numerically for many problems encompassed in our framework, including the Lasso, the group Lasso, the fused Lasso and the nuclear norm regularization to name a few. These results may have numerous applications including in signal/image processing processing, sparse recovery and machine learning.

研究动机与目标

• 为Lasso、组Lasso、融合Lasso及低秩矩阵恢复等场景中前向-后向算法所观察到的快速局部收敛现象，提供统一的理论解释。
• 在正则项相对于流形M呈部分光滑性时，建立前向-后向方法的有限活跃流形识别。
• 在识别之后刻画迭代序列的局部收敛速率，表明收敛为R线性或Q线性，具体取决于流形结构。
• 通过去除强凸性或正则项可分解性等限制性假设，扩展现有局部收敛结果。
• 提供一个适用于信号处理、机器学习与成像中一大类非光滑凸优化问题的通用框架。

提出的方法

• 分析基于部分光滑性的概念，即在解x*处，正则项J相对于流形M呈部分光滑性。
• 通过下降性质及部分光滑性下近端算子的结构，证明了活跃流形M的有限识别。
• 识别后，对所有k ≥ K，有xk ∈ M，从而可在流形M的切空间T中进行局部线性收敛性分析。
• 通过分析F在T上限制的Hessian矩阵的谱性质，推导出收敛速率，得到一个涉及A_T的最小与最大奇异值的收缩因子。
• 采用标准前向-后向更新：x_{k+1} = prox_{γ_k J}(x_k - γ_k ∇F(x_k))，其中步长γ_k ∈ (0, 2/β)。
• 关键工具包括在解处的非退化性与局部强凸性假设，确保解的唯一性并支持收敛速率的刻画。

实验结果

研究问题

• RQ1 在何种条件下，前向-后向算法能在有限次迭代内识别出部分光滑正则项的活跃流形？
• RQ2 在活跃流形识别之后，前向-后向迭代序列的精确局部收敛速率是什么？
• RQ3 活跃流形的结构（例如线性子空间与曲面流形）如何影响收敛速率？
• RQ4 收敛结果能否推广至ℓ1或核范数等可分解正则项之外的更广类，如总变差或ℓ∞-范数？
• RQ5 在部分光滑性条件下，何种条件可保证解的唯一性及局部线性收敛？

主要发现

• 前向-后向算法能有限步内识别出与部分光滑正则项相关的活跃流形M，即在有限次迭代后，对所有k ≥ K，有x_k ∈ M。
• 识别后，迭代序列以速率ρ = max{ℓ(γ̲), ℓ(γ̄})局部Q线性收敛至解x*，其中ℓ(γ) = max{|1 - γσ_m|, |1 - γσ_M|}。
• 当活跃流形M为线性子空间时，收敛变为R线性，最优速率为ρ* = (σ_M - σ_m)/(σ_M + σ_m) = (φ - 1)/(φ + 1)，其中φ = σ_M/σ_m。
• 收敛速率取决于F在流形M的切空间T上限制的Hessian矩阵的条件数，条件数越好则收敛越快。
• 结果涵盖不可分解正则项，如总变差与ℓ∞-范数，扩展了以往依赖可分解性的研究。
• 在非退化性与局部强凸性假设下，解的唯一性得以保证，确保收敛分析适用于唯一极小化点。