[論文レビュー] Iteratively Reweighted Least Squares for Basis Pursuit with Global Linear Convergence Rate

Christian Kümmerle, Claudio Mayrink Verdun+1 more|Publication Server of the Catholic University Eichstätt-Ingolstadt (Catholic University of Eichstätt-Ingolstadt)|Dec 22, 2020

Sparse and Compressive Sensing Techniques参考文献 47被引用数 9

ひとこと要約

本論文は、測定行列がノルム空間性質を満たす限り、任意の初期化からもスパース解への線形収束が保証される、基底追跡に適用された反復的重み付き最小二乗法（IRLS）の変種に対する、最初のグローバル線形収束レートを確立した。この結果により、従来のサポート特定の前後を問わず、即座にグローバルに線形の誤差減少が達成されることを示した。理論的理解における長年のギャップが解消された。

ABSTRACT

The recovery of sparse data is at the core of many applications in machine learning and signal processing. While such problems can be tackled using $\ell_1$-regularization as in the LASSO estimator and in the Basis Pursuit approach, specialized algorithms are typically required to solve the corresponding high-dimensional non-smooth optimization for large instances. Iteratively Reweighted Least Squares (IRLS) is a widely used algorithm for this purpose due its excellent numerical performance. However, while existing theory is able to guarantee convergence of this algorithm to the minimizer, it does not provide a global convergence rate. In this paper, we prove that a variant of IRLS converges with a global linear rate to a sparse solution, i.e., with a linear error decrease occurring immediately from any initialization, if the measurements fulfill the usual null space property assumption. We support our theory by numerical experiments showing that our linear rate captures the correct dimension dependence. We anticipate that our theoretical findings will lead to new insights for many other use cases of the IRLS algorithm, such as in low-rank matrix recovery.

研究の動機と目的

• グローバル線形収束レートを確立することで、IRLS収束の理論的ギャップを埋めること。
• 標準的なノルム空間性質の仮定の下で、初期化に依存せずIRLSがスパース解へ線形収束することを証明すること。
• 数値的性能における次元依存性を正しく捉えた厳密な解析を提供すること。

提案手法

• 滑らか化された $\varepsilon$-正則化 $–1$-ノルム近似を用いた、微分可能性と安定性を保証する修正されたIRLSアルゴリズムを提案。
• 非滑らかな $–1$-ノルム目的関数を上から押さえる二次上界を用いる、マジョライゼーション・ミニマイゼーションフレームワークを採用。
• 現在の反復点の大きさに基づいて適応的重みを導出する、重み付き最小二乗部分問題の系列を用いる。
• 共役勾配法を部分問題の解法に適用し、理論的収束保証を実現。
• リャプノフ関数を用いた議論と条件数の境界を用いて、グローバル線形収束を確立。
• 測定行列 $A$ のノルム空間性質に依存し、スパース回復と収束を保証。

実験結果

リサーチクエスチョン

• RQ1 基底追跡におけるIRLSは、初期化に依存せずにグローバル線形収束レートを達成できるか？
• RQ2 IRLSの収束レートは問題の次元に依存するか？ その依存関係を理論的に捉えることができるか？
• RQ3 真の信号のサポートが特定される前でも、線形収束を証明することは可能か？
• RQ4 測定行列の条件数は、IRLSの収束レートにどのように影響するか？
• RQ5 理論的収束レートは、高次元設定における観察された数値的性能と一致するか？

主な発見

• 提案されたIRLS変種は、任意の初期点からもスパース解へのグローバル線形収束レートを達成し、誤差が線形に減少する。
• 収束レートは明示的に境界づけられており、測定行列 $A$ の条件数に依存し、$\kappa(A)^2$ のスケーリングに従う。
• 理論的レートは、数値実験によって裏付けられ、正しい次元依存性を捉えている。
• 解析により、真のサポートが特定される前でさえ線形収束が成立することが証明され、従来の局所的収束結果の主な限界が解消された。
• 適応的重み付けにより部分問題が適切に条件付けられ、共役勾配法による高精度な解法が可能になった。
• 本結果は、低ランク行列回復などの他の問題へのIRLSの拡張に理論的基盤を提供する。