[论文解读] Local and Global Convergence of an Inertial Version of Forward-Backward Splitting

Patrick R. Johnstone, Pierre Moulin|arXiv (Cornell University)|Feb 8, 2015

Sparse and Compressive Sensing Techniques参考文献 38被引用 4

一句话总结

本文分析了一种用于凸复合优化的惯性前向-后向分裂（I-FBS）算法，证明了其在稀疏优化问题中的全局弱收敛性和局部线性收敛性。研究确定了实现局部收敛的最优动量参数，并提出了一种实用的自适应方法（FISTA-AdOPT），该方法继承了FISTA的全局$O(1/k^2)$收敛速率，同时实现了最优的局部收敛性能，在后期阶段优于标准FISTA。

ABSTRACT

A problem of great interest in optimization is to minimize a sum of two closed, proper, and convex functions where one is smooth and the other has a computationally inexpensive proximal operator. In this paper we analyze a family of Inertial Forward-Backward Splitting (I-FBS) algorithms for solving this problem. We first apply a global Lyapunov analysis to I-FBS and prove weak convergence of the iterates to a minimizer in a real Hilbert space. We then show that the algorithms achieve local linear convergence for "sparse optimization", which is the important special case where the nonsmooth term is the $\ell_1$-norm. This result holds under either a restricted strong convexity or a strict complimentary condition and we do not require the objective to be strictly convex. For certain parameter choices we determine an upper bound on the number of iterations until the iterates are confined on a manifold containing the solution set and linear convergence holds. The local linear convergence result for sparse optimization holds for the Fast Iterative Shrinkage and Soft Thresholding Algorithm (FISTA) due to Beck and Teboulle which is a particular parameter choice for I-FBS. In spite of its optimal global objective function convergence rate, we show that FISTA is not optimal for sparse optimization with respect to the local convergence rate. We determine the locally optimal parameter choice for the I-FBS family. Finally we propose a method which inherits the excellent global rate of FISTA but also has excellent local rate.

研究动机与目标

• 分析用于最小化光滑与非光滑凸函数之和的惯性前向-后向分裂（I-FBS）算法的收敛性质。
• 在动量与步长参数的一般条件下，建立I-FBS的全局弱收敛性。
• 在不依赖全局强凸性的情况下，证明稀疏优化（即$ρ\|x\|_1$正则化）下I-FBS的局部线性收敛性。
• 确定能最大化局部收敛速率的局部最优动量参数选择。
• 设计一种实用算法，同时继承FISTA的全局$O(1/k^2)$收敛速率与最优的局部线性收敛速率。

提出的方法

• 使用全局李雅普诺夫分析，证明I-FBS迭代序列在实希尔伯特空间中弱收敛于最小值点。
• 应用李雅普诺夫技术，推导出I-FBS在$ρ\|x\|_1$-正则化问题下实现局部线性收敛的条件。
• 通过在活动集$E$上计算$A_E^T A_E$的最小特征值，推导出局部最优动量参数。
• 提出FISTA-AdOPT：一种实用算法，在目标函数值开始上升时，从Beck和Teboulle的FISTA参数切换到局部最优的I-FBS参数。
• 在实际中通过当前迭代点的支撑集作为真实活动集$E$的近似，估计最优动量。
• 当$F(x^k) > F(x^{k-1})$时，触发重启机制，表明已到达解流形。

实验结果

研究问题

• RQ1 在动量与步长参数的一般条件下，惯性前向-后向分裂方法是否能实现全局弱收敛？
• RQ2 在不强制要求完整目标函数严格凸的情况下，能否为稀疏优化问题建立局部线性收敛性？
• RQ3 在稀疏优化中，能最大化局部收敛速率的最优动量参数选择是什么？
• RQ4 能否设计一种实用算法，使其同时继承FISTA的全局$O(1/k^2)$收敛速率与最优的局部线性收敛速率？
• RQ5 FISTA-AdOPT在迭代复杂度与振荡行为方面，与FISTA及自适应重启变体相比表现如何？

主要发现

• 在条件$0 \leq \alpha_k \leq 1$与$\limsup \alpha_k < 1$下，I-FBS算法实现全局弱收敛，且步长满足$0 < \lambda_k \leq 1/L$。
• 对于稀疏优化，I-FBS在满足受限强凸性或严格互补性条件下，即使不存在全局强凸性，也能实现局部线性收敛。
• 局部最优动量参数为$\alpha_{\text{opt}} = \frac{1 - \sqrt{l_E / L}}{1 + \sqrt{l_E / L}}$，其中$l_E$为$A_E^T A_E$的最小特征值。
• 尽管FISTA在全局$O(1/k^2)$目标函数收敛速率上是最优的，但在稀疏优化的局部收敛速率方面并非最优。
• FISTA-AdOPT实现了最优的渐近迭代复杂度，与推论8中推导的理论下界一致，并避免了FISTA-AdRe中观察到的振荡现象。
• 数值实验表明，FISTA-AdOPT与FISTA-AdRe均继承了FISTA的全局$O(1/k^2)$速率，并实现了最优的局部收敛，其中FISTA-AdOPT因适应后采用固定动量而表现出更高的稳定性。