[論文レビュー] Activity Identification and Local Linear Convergence of Inertial Forward-Backward Splitting

Jingwei Liang, Jalal Fadili+1 more|arXiv (Cornell University)|Mar 12, 2015

Sparse and Compressive Sensing Techniques参考文献 8被引用数 3

ひとこと要約

本稿は、1つの成分がリプシッツ連続微分可能で、もう1つの成分が活性多様体 𝒩 に関して部分的平滑性である合成凸関数の最小化に向けた慣性付き前向き後向き（iFB）分割アルゴリズムの統一的分析を提案する。有限の活性多様体同定と局所的線形収束を確立し、リッジ回帰、グループリッジ回帰、全変動最小化などの問題で観察される数値的挙動に対する理論的裏付けを提供する。

ABSTRACT

We consider the class of inertial Forward--Backward (iFB) proximal splitting algorithms, to minimize the sum of two proper lower semi-continuous convex functions, one of which having a Lipschitz continuous gradient and the other being partly smooth relative to an active manifold $\mathcal{M}$. Special cases of this class include the FB and, for an appropriate choice of the inertial parameter, FISTA-like schemes. We propose a unified analysis, under which we show that iFB-type splitting, (i) correctly identifies the active manifold $\mathcal{M}$ in a finite number of iterations, and then (ii) enters a local (linear) convergence regime, which is characterised precisely. This gives a grounded justification to the typical behaviour that has been observed numerically for many problems encompassed in our framework, including the Lasso, the group Lasso, total variation minimization and the nuclear norm regularization to name a few. These results may have numerous applications including in signal/image processing processing and machine learning.

研究の動機と目的

• 慣性付き前向き後向き分割のための統一的理論的枠組みを提供すること。
• 実務でよく観察されるiFB型アルゴリズムにおける活性多様体の有限同定現象を説明すること。
• 部分的平滑性およびリプシッツ勾配の仮定の下で、活性多様体同定後にiFBスキームの局所的線形収束を確立すること。
• リッジ回帰、グループリッジ回帰、核ノルム正則化などの問題においてFISTA型手法や慣性スキームの経験的成功を正当化すること。
• 活性多様体同定後の局所的収束領域を明確に特徴づけること。

提案手法

• 問題の幾何構造を構造的に特徴づけるために、活性多様体 𝒩 に関する部分的平滑性の概念を用いる。
• 標準的なFISTAおよびFB手法を一般化する、適応的慣性パラメータを用いた慣性付き前向き後向き分割スキームを採用する。
• 反復点の軌道を分析し、それが最終的に入り込み、活性多様体の近傍に留まるのを示すことにより、有限の活性多様体同定を証明する。
• 誤差境界性質と部分的平滑性構造を活用することで、同定後に線形収束率が得られることを確立する。
• 特に、プロキシマル作用素と勾配マッピングの性質を含む、変分解析および単調作用素論の道具を用いる。
• リッジ回帰、グループリッジ回帰、全変動、低ランク行列回復などのよく知られた問題を特別な場合として含める十分に一般な枠組みである。

実験結果

リサーチクエスチョン

• RQ1 部分的平滑性を持つ合成問題に対して、慣性付き前向き後向き分割アルゴリズムは有限反復内で正しい活性多様体を同定できるか？
• RQ2 活性多様体同定後にiFBスキームの局所的線形収束を保証する条件は何か？
• RQ3 慣性パラメータはiFB法における収束挙動および多様体同定にどのように影響するか？
• RQ4 提案された枠組みは、FISTA型手法と標準FBスキームの分析をどの程度統一できるか？
• RQ5 理論的収束特性は、リッジ回帰や核ノルム最小化のような問題で観察される数値的性能を説明できるか？

主な発見

• 与えられた仮定の下で、iFBアルゴリズムは有限反復内で活性多様体 𝒩 を同定する。
• 活性多様体同定後、反復点は局所的に線形に収束し、収束速度は多様体上での問題の曲率および条件数に依存する。
• 誤差境界性質と部分的平滑性構造を通じて、収束速度が明確に特徴づけられる。
• フレームワークはFISTAと標準FBスキームの分析を統一し、慣性パラメータを適切に選べば両者が同一の収束領域に属することを示す。
• 結果は、リッジ回帰、グループリッジ回帰、全変動最小化などの問題において実際の高速収束が観察される理由を理論的に裏付ける。
• 解析はスパース最適化および低ランク最適化を含む広範な問題クラスに適用可能であり、信号処理および機械学習分野におけるiFB型手法の頑健性を確認する。