[論文レビュー] An Iteratively Reweighted Least Squares Algorithm for Sparse Regularization

Sergey Voronin, Ingrid Daubechies|arXiv (Cornell University)|Nov 29, 2015

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、非同一な $\ell_1$-類似ペナルティ（各成分の指数 $q_k$ と重み $\lambda_k$ が異なる）を含む一般化されたスパarsity促進機能を最小化するための反復的重み付き最小二乗法（IRLS）アルゴリズムを提案する。この手法は、非微分可能な絶対値項を反復的に平滑化することで、元の非滑らか機能の最小化点に収束させるとともに、二次的サブプロブレムを介した効率的な最適化を可能にする。

ABSTRACT

We present a new algorithm and the corresponding convergence analysis for the regularization of linear inverse problems with sparsity constraints, applied to a new generalized sparsity promoting functional. The algorithm is based on the idea of iteratively reweighted least squares, reducing the minimization at every iteration step to that of a functional including only $\ell_2$-norms. This amounts to smoothing of the absolute value function that appears in the generalized sparsity promoting penalty we consider, with the smoothing becoming iteratively less pronounced. We demonstrate that the sequence of iterates of our algorithm converges to a limit that minimizes the original functional.

研究の動機と目的

• 各成分ごとに異なる $q_k \in [1,2]$ および $\lambda_k$ を持つ一般化されたスパarsity促進機能 $F_{\mathbf{q},\boldsymbol{\lambda}}(x) = \|Ax - b\|_2^2 + 2\sum_k \lambda_k |x_k|^{q_k}$ を最小化する収束性が保証されるアルゴリズムの開発。
• 標準的な $\ell_1$-ベース手法の限界を克服し、各係数に対して異なるスパarsity誘導ペナルティを許容することで、スパースおよび密度の高い成分を併存する信号に特に有効である。
• 古典的な IRLS フレームワークを、非同一な $q_k$-ノルムペナルティを含む非制約問題へ拡張し、ウェーブレット分解などのマルチスケール表現への応用を可能にする。
• 補助機能の平滑化率と反復点の収束速度との間の厳密な収束解析を提供する。
• 特に画像のぼかし回復および圧縮センシングにおいて、スパースパターンが不均一な信号の復元において、ISTA/FISTA より優れた性能を示すことを実証する。

提案手法

• 各反復で、非滑らかな $|x_k|^{q_k}$ 項を、現在の反復点に依存する重み付き $\ell_2$-ノルムに基づく平滑化された補助関数で近似する。
• 各ステップにおけるサブプロブレムは、標準的な最小二乗問題に帰着される：$\min_x \|Ax - b\|_2^2 + \sum_k w_k^{(n)} (x_k - x_k^{(n)})^2$、ここで $w_k^{(n)}$ は反復的に更新される重みである。
• 重みは $w_k^{(n)} = \frac{1}{2} q_k \lambda_k (|x_k^{(n)}| + \varepsilon)^{2 - q_k}$ で定義され、$\varepsilon > 0$ を用いてゼロ除算を回避し、滑らかさを保証する。
• 反復が進行するにつれて、徐々に平滑化が弱まるように、反復的に解を改善する。
• 複数の正則化パラメータ $\tau$ にわたる継続スキームを導入し、前回の解を初期推定値として再利用する。
• 共役勾配法は、二次的サブプロブレムに自然に適用可能であり、大規模な実装を効率的に行う。

実験結果

リサーチクエスチョン

• RQ1 スパース正則化において、非同一な $q_k$-ノルムペナルティを扱えるように IRLS アルゴリズムを一般化できるか？ これにより、各係数ごとに異なるスパarsity制約を実現できるか？
• RQ2 反復的重み付けスキームの収束性は、補助関数の平滑化率と元の非滑らか関数との関係は何か？
• RQ3 提案手法は、各係数ごとに $q_k$ を適応的に調整する場合、標準的な ISTA/FISTA よりも混合スパース・密度成分を有する信号の復元において優れた性能を示すか？
• RQ4 粗いスケールと細かいスケールの成分に異なる正則化が必要なマルチスケール表現（例：ウェーブレット係数）を効果的に処理できるか？
• RQ5 画像のぼかし回復および圧縮センシングタスクにおいて、$q_k < 1$ を用いることで、再構成の鋭さと収束速度にどのような影響を与えるか？

主な発見

• IRLS アルゴリズムは、弱い条件下でも、元の非滑らか関数 $F_{\mathbf{q},\boldsymbol{\lambda}}(x)$ の最小化点に収束することが保証される。
• 半分スパースで半分密度の高い信号に対して、スパース部では $q_k=1$、密度部では $q_k=1.9$ とした IRLS が、均一な $q_k=1$ を用いた ISTA/FISTA よりも復元誤差を低減した。
• ガウスノイズとぼかしを伴う画像のぼかし回復（SNR=25）において、$q_k=0.85$ の IRLS 再構成は $q_k=1$ の場合よりも明確な画像を生成し、視覚的品質が向上した。
• 収束速度において FISTA と同等の性能を達成しながら、各係数ごとのスパarsity制御を柔軟に可能にした。
• $\tau$ 値にわたる継続スキームの導入により、特に病的な条件の行列においても復元精度が向上した。
• さまざまな行列の条件に対してロバストであり、$1000 \times 1000$ 行列における $12\%$ スパース信号の実験から、大規模問題へのスケーラビリティが確認された。