[論文レビュー] Local Linear Convergence of Forward-Backward under Partial Smoothness

Jingwei Liang, Jalal Fadili+1 more|arXiv (Cornell University)|Jul 21, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用数 42

ひとこと要約

本稿は、正則化子が解の周囲の活性多様体に関して部分的スムーズである場合、複合凸最適化に対する前向き後向き法の局所線形収束を確立する。活性多様体の有限識別と、多様体構造に応じた局所R線形またはQ線形収束レートの正確な特徴付けを証明し、lasso、グループlasso、融合lasso、および核ノルム問題における収束行動を統一的に解釈する。

ABSTRACT

In this paper, we consider the Forward--Backward proximal splitting algorithm to minimize the sum of two proper convex functions, one of which having a Lipschitz continuous gradient and the other being partly smooth relative to an active manifold $\mathcal{M}$. We propose a generic framework under which we show that the Forward--Backward (i) correctly identifies the active manifold $\mathcal{M}$ in a finite number of iterations, and then (ii) enters a local linear convergence regime that we characterize precisely. This gives a grounded and unified explanation to the typical behaviour that has been observed numerically for many problems encompassed in our framework, including the Lasso, the group Lasso, the fused Lasso and the nuclear norm regularization to name a few. These results may have numerous applications including in signal/image processing processing, sparse recovery and machine learning.

研究の動機と目的

• lasso、グループlasso、融合lasso、低ランク行列回復などの問題において、経験的に観察される前向き後向き法の高速な局所収束を統一的な理論的説明を与えること。
• 正則化子が多様体Mに関して部分的スムーズである場合、前向き後向き法による活性多様体Mの有限識別を確立すること。
• 識別後における反復列の局所収束レートを特徴付け、多様体構造に応じてR線形またはQ線形収束が生じることを示すこと。
• 強い凸性や正則化子の分解可能性といった制限的な仮定を排除することで、既存の局所収束結果を拡張すること。
• 信号処理、機械学習、画像処理分野における非滑らか凸最適化問題の広いクラスに適用可能な一般枠組みを提供すること。

提案手法

• 分析は、正則化子Jが解x*において多様体Mに関して部分的スムーズであるという概念に依拠する。
• 部分的スムーズ性下での降下性および近位作用素の構造を用いて、活性多様体Mの有限識別を証明する。
• 識別後、すべてのk ≥ Kについて反復列xkがM上に存在することを保証し、多様体Mの接空間Tにおける局所線形収束解析が可能になる。
• Hessian行列のT上への制限の固有値特性を分析することで収束レートを導出し、A_Tの最小および最大特異値を含む収縮係数が得られる。
• 標準的な前向き後向き更新式 x_{k+1} = prox_{γ_k J}(x_k - γ_k ∇F(x_k)) を用い、ステップサイズは(0, 2/β)に制限される。
• 主な道具は、解における非退化性および局所的強い凸性仮定であり、これらにより一意性が保証され、レート特徴付けが可能になる。

実験結果

リサーチクエスチョン

• RQ1 前向き後向き法が、部分的スムーズな正則化子の活性多様体を有限反復内で識別する条件は何か？
• RQ2 活性多様体識別後における前向き後向き反復列の正確な局所収束レートは何か？
• RQ3 活性多様体の構造（例えば線形部分空間対曲がった多様体）が収束レートに与える影響は何か？
• RQ4 分解可能正則化子（例：ℓ1や核ノルム）に限らず、全変動やℓ∞-ノルムのようなより広いクラスへ収束結果を一般化できるか？
• RQ5 部分的スムーズ性のもとで、解の一意性と局所的線形収束を保証する条件は何か？

主な発見

• 前向き後向き法は、部分的スムーズな正則化子に関連する活性多様体Mを有限反復内で識別する。すなわち、ある有限の反復数K以降、すべてのk ≥ Kについてx_k ∈ Mとなる。
• 識別後、反復列は解x*へQ線形に収束し、収束レートはρ = max{ℓ(γ̲), ℓ(γ̄})で与えられる。ここでℓ(γ) = max{|1 - γσ_m|, |1 - γσ_M|}である。
• 活性多様体Mが線形部分空間である場合、収束はR線形となり、最適レートはρ* = (σ_M - σ_m)/(σ_M + σ_m) = (φ - 1)/(φ + 1)で与えられる。ここでφ = σ_M/σ_mである。
• 収束レートは、多様体Mの接空間TへのFのHessian行列の制限の条件数に依存し、条件数が良い問題では収束が速くなる。
• 本結果は、全変動やℓ∞-ノルムといった分解不能な正則化子をカバーしており、従来の分解可能性要件を満たさない問題へも拡張可能である。
• 非退化性および局所的強い凸性仮定のもとで解の一意性が保証され、収束解析が明確に定義された最小化子に適用可能となる。