[論文レビュー] Local and Global Convergence of an Inertial Version of Forward-Backward Splitting

Patrick R. Johnstone, Pierre Moulin|arXiv (Cornell University)|Feb 8, 2015

Sparse and Compressive Sensing Techniques参考文献 38被引用数 4

ひとこと要約

本稿は、凸合成最適化のための慣性付き前向き後向き分割（I-FBS）アルゴリズムを分析し、スパース最適化問題においてグローバル弱収束と局所線形収束を証明する。局所収束の最適なモーメンタムパラメータを同定し、FISTAのグローバル $O(1/k^2)$ 速度を継承しながら最適な局所収束を達成する実用的な適応手法（FISTA-AdOPT）を提案する。FISTAに比べて後段階で優れた性能を示す。

ABSTRACT

A problem of great interest in optimization is to minimize a sum of two closed, proper, and convex functions where one is smooth and the other has a computationally inexpensive proximal operator. In this paper we analyze a family of Inertial Forward-Backward Splitting (I-FBS) algorithms for solving this problem. We first apply a global Lyapunov analysis to I-FBS and prove weak convergence of the iterates to a minimizer in a real Hilbert space. We then show that the algorithms achieve local linear convergence for "sparse optimization", which is the important special case where the nonsmooth term is the $\ell_1$-norm. This result holds under either a restricted strong convexity or a strict complimentary condition and we do not require the objective to be strictly convex. For certain parameter choices we determine an upper bound on the number of iterations until the iterates are confined on a manifold containing the solution set and linear convergence holds. The local linear convergence result for sparse optimization holds for the Fast Iterative Shrinkage and Soft Thresholding Algorithm (FISTA) due to Beck and Teboulle which is a particular parameter choice for I-FBS. In spite of its optimal global objective function convergence rate, we show that FISTA is not optimal for sparse optimization with respect to the local convergence rate. We determine the locally optimal parameter choice for the I-FBS family. Finally we propose a method which inherits the excellent global rate of FISTA but also has excellent local rate.

研究の動機と目的

• 平滑かつ非平滑な凸関数の和を最小化するための慣性付き前向き後向き分割（I-FBS）アルゴリズムの収束特性を分析すること。
• モーメンタムおよびステップサイズパラメータに関する一般条件のもとで、I-FBSのグローバル弱収束を確立すること。
• スパース最適化（すなわち、$ρ\|x\|_1$ 正則化）において、全目的関数が厳密凸である必要がない条件下でも、局所線形収束を証明すること。
• 局所収束速度を最大化するための最適なモーメンタムパラメータ選択を同定すること。
• FISTAのグローバル $O(1/k^2)$ 収束と最適な局所線形収束を両立する実用的なアルゴリズムを開発すること。

提案手法

• 実ヒルバート空間における最小化点へのI-FBS反復列の弱収束を証明するために、グローバルなリャプノフ解析を用いる。
• リャプノフ技術を適用し、$ρ\|x\|_1$-正則化問題におけるI-FBSの局所線形収束を達成する条件を導出する。
• 活性集合 $E$ における $A_E^T A_E$ の最小固有値を用いて、局所的に最適なモーメンタムパラメータを導出する。
• FISTAのパラメータから局所的に最適なI-FBSパラメータに切り替えることで、FISTA-AdOPTを提案する。これは、目的関数値が増加し始めると、解の多様体に到達したと判断される。
• 現在の反復点のサポートを真の活性集合 $E$ の代わりに用いて、実用的な最適モーメンタムを推定する。
• $F(x^k) > F(x^{k-1})$ となると、再起動機構を発動する。

実験結果

リサーチクエスチョン

• RQ1 慣性付き前向き後向き分割法は、一般のモーメンタムおよびステップサイズ条件のもとでグローバル弱収束を達成するか？
• RQ2 全目的関数が厳密凸でなくても、スパース最適化問題における局所線形収束を確立できるか？
• RQ3 スパース最適化における局所収束速度を最大化するための最適なモーメンタムパラメータの選択は何か？
• RQ4 FISTAのグローバル $O(1/k^2)$ 収束と最適な局所線形収束速度を両方継承する実用的なアルゴリズムを設計できるか？
• RQ5 FISTA-AdOPTの性能は、FISTAおよび適応的再起動変種と比較して、反復複雑性および振動挙動の面でどう異なるか？

主な発見

• I-FBSアルゴリズムは、$0 \leq \alpha_k \leq 1$ および $\limsup \alpha_k < 1$ の条件下で、$0 < \lambda_k \leq 1/L$ を満たすステップサイズのもとでグローバル弱収束を達成する。
• スパース最適化において、I-FBSは制限された強い凸性または厳密補完性のいずれかが成り立つ限り、グローバルな強い凸性がなくても局所線形収束を達成する。
• 局所的に最適なモーメンタムパラメータは、$\alpha_{\text{opt}} = \frac{1 - \sqrt{l_E / L}}{1 + \sqrt{l_E / L}}$ として得られる。ここで $l_E$ は $A_E^T A_E$ の最小固有値である。
• FISTAは、局所収束速度の観点ではスパース最適化において最適ではないが、グローバルな $O(1/k^2)$ の目的関数収束が最適である。
• FISTA-AdOPTは最適な漸近的反復複雑性を達成し、補題8で導出された理論的下界に一致する。また、FISTA-AdReで見られるような振動を回避する。
• 数値実験では、FISTA-AdOPTおよびFISTA-AdReの両方がFISTAのグローバル $O(1/k^2)$ 速度を継承し、最適な局所収束を達成するが、FISTA-AdOPTは適応後の固定モーメンタムのおかげでより安定している。