[論文レビュー] Activity Identification and Local Linear Convergence of Forward--Backward-type methods

Jingwei Liang, Jalal Fadili+1 more|arXiv (Cornell University)|Mar 12, 2015

Sparse and Compressive Sensing Techniques参考文献 35被引用数 6

ひとこと要約

本稿は、非滑らかな凸最適化における前向き・後向き型手法の統一的枠組みを提案し、活性多様体に関する部分的滑らかさを有する問題において、有限回の活動同定と局所線形収束を証明する。慣性スキーム（例：FISTA）は、パラメータのダイナミクスにより、標準的なFBと比較して局所的に振動し、収束が遅くなる可能性があることが示され、Lasso、グループLasso、核ノルム最小化問題における観察された数値的挙動を説明する。

ABSTRACT

In this paper, we consider a class of Forward--Backward (FB) splitting methods that includes several variants (e.g. inertial schemes, FISTA) for minimizing the sum of two proper convex and lower semi-continuous functions, one of which has a Lipschitz continuous gradient, and the other is partly smooth relatively to a smooth active manifold $\mathcal{M}$. We propose a unified framework, under which we show that, this class of FB-type algorithms (i) correctly identifies the active manifolds in a finite number of iterations (finite activity identification), and (ii) then enters a local linear convergence regime, which we characterize precisely in terms of the structure of the underlying active manifolds. For simpler problems involving polyhedral functions, we show finite termination. We also establish and explain why FISTA (with convergent sequences) locally oscillates and can be slower than FB. These results may have numerous applications including in signal/image processing, sparse recovery and machine learning. Indeed, the obtained results explain the typical behaviour that has been observed numerically for many problems in these fields such as the Lasso, the group Lasso, the fused Lasso and the nuclear norm regularization to name only a few.

研究の動機と目的

• 標準的なFBとFISTAを含む、慣性付きのFB型手法の分析を、共通の枠組みで統一すること。
• 部分的滑らかさの仮定のもとで、有限時間内に活性多様体が同定される「有限活動同定」を確立すること。
• 活性多様体の幾何構造に基づいて、局所線形収束速度を明確に特定すること。
• 収束する慣性パラメータを有するFISTAがなぜ局所的に振動し、標準的なFBよりも遅く収束するのかを説明し、長年の未解決問題を解消すること。

提案手法

• 標準的なFBとFISTAを含む、パラメータ ak と bk を持つ一般化された慣性付き前向き・後向きアルゴリズム（iFB）を提案し、既存の手法を統一する。
• 構造的スパarsityや低ランク性をモデル化するため、滑らかな活性多様体 M に関する部分的滑らかさの概念を用いる。
• 最小解 x⋆ の周囲における目的関数の局所線形化を適用し、F の2次近似と多様体 M の接空間への射影を活用する。
• F のヘッセ行列と活性多様体の接空間への射影演算子に基づいて、線形化された反復行列 M を導出する。
• リャプノフ型解析と反復行列の固有値解析を用いて、局所線形収束を確立する。
• 平均値の定理と作用素の推定を用いて誤差ダイナミクスをバインドし、慣性パラメータと多様体構造に基づく収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 部分的滑らかさを有する問題において、FB型手法が有限反復内で活性多様体を同定する条件は何か？
• RQ2 収束する慣性パラメータを有するFISTAがなぜ局所的に振動し、標準的なFBよりも遅く収束するのか？
• RQ3 慣性パラメータ ak と bk は、反復の局所収束速度と安定性にどのように影響するか？
• RQ4 局所線形収束速度は、活性多様体の幾何構造とFのヘッセ行列によって正確に特徴付けられるか？
• RQ5 この枠組みにおいて、多面体的問題が有限終了するための条件は何か？

主な発見

• 提案された iFB 法は、部分的滑らかさを有する問題において有限活動同定を達成し、活性多様体が有限回の反復内で正しく同定されることを保証する。
• 活動同定後、反復は局所線形収束領域に入り、収束速度はFのヘッセ行列と活性多様体の接空間に基づく行列の固有値によって決定される。
• 多面体的問題では、有限終了（有限ステップで収束）を示す。
• 収束する慣性パラメータ（例：ak = bk = k−1/k+q, q > 2）を有するFISTAは、線形化系における不安定な固有値ダイナミクスのため、局所的に振動し、標準的なFBよりも遅く収束することがある。
• 局所収束速度は、反復行列 M のスペクトル特性によって定量的に特徴付けられ、これは慣性パラメータと多様体構造に依存する。
• 活性多様体が線形部分空間であり、F のヘッセ行列が正規化空間上で正定値である場合、収束速度は慣性パラメータと射影演算子を含む行列のスペクトル半径によって支配される。