[論文レビュー] A fast randomized Kaczmarz algorithm for sparse solutions of consistent linear systems

Hassan Mansour, Özgür Yılmaz|arXiv (Cornell University)|May 16, 2013

Sparse and Compressive Sensing Techniques参考文献 11被引用数 9

ひとこと要約

本稿では、非ゼロ成分の寄与を抑えるために行列の行を適応的に重み付けすることで、スパース解への収束を加速するスパース確率的カツチャルツ（SRK）アルゴリズムを提案する。動的スケーリングにより、非サポート成分の寄与を $1/\textstyle\sqrt{j}$ で低下させることで、特にスパース解に対して標準的な確率的カツチャルツよりも高速な収束を達成し、過決定系およびアンダードetermined系の両方でスパース信号を正確に回復できる。性能は $$\ell_1$ 最適化と同等となる。

ABSTRACT

The Kaczmarz algorithm is a popular solver for overdetermined linear systems due to its simplicity and speed. In this paper, we propose a modification that speeds up the convergence of the randomized Kaczmarz algorithm for systems of linear equations with sparse solutions. The speedup is achieved by projecting every iterate onto a weighted row of the linear system while maintaining the random row selection criteria of Strohmer and Vershynin. The weights are chosen to attenuate the contribution of row elements that lie outside of the estimated support of the sparse solution. While the Kaczmarz algorithm and its variants can only find solutions to overdetermined linear systems, our algorithm surprisingly succeeds in finding sparse solutions to underdetermined linear systems as well. We present empirical studies which demonstrate the acceleration in convergence to the sparse solution using this modified approach in the overdetermined case. We also demonstrate the sparse recovery capabilities of our approach in the underdetermined case and compare the performance with that of $\ell_1$ minimization.

研究の動機と目的

• 線形方程式 $Ax=b$ の解がスパースである場合に、確率的カツチャルツアルゴリズムの収束を高速化すること。
• 密行列の行に不要な成分が含まれる場合、標準的な確率的カツチャルツの収束が遅くなる問題に対処すること。
• カツチャルツ型手法の適用範囲を過決定系に限らず、スパース解を有するアンダードetermined系へ拡張すること。
• 凸最適化問題を解かずに、圧縮センシングにおける$$\ell_1$ 最適化と同等の性能を達成すること。

提案手法

• アルゴリズムは、確率的カツチャルツと同一の行選択確率 $\frac{\|a_i\|_2^2}{\|A\|_F^2}$ を使用し、ランダム化を保ちつつ収束保証を維持する。
• 各反復 $j$ において、重みベクトル $\mathbf{w}_j$ を構築する：$w_j(l) = 1$（$l \in S$ の場合、サポート推定）、$w_j(l) = \frac{1}{\sqrt{j}}$（それ以外）。
• 更新則は重み付き射影を適用する：$x_j = x_{j-1} + \frac{b(i) - \langle \mathbf{w}_j \odot a_i, x_{j-1} \rangle}{\|\mathbf{w}_j \odot a_i\|_2^2} (\mathbf{w}_j \odot a_i)^T$ により、非サポート成分の影響を低減する。
• サポート推定 $S$ は、各ステップで $x_{j-1}$ の絶対値が最大の $\max\{\hat{k}, n-j+1\}$ 個の成分として更新され、時間経過とともにスパース性仮定を精緻化する。
• 重み付けスキームにより、$j \to \infty$ のとき $\mathbf{w}_j \odot a_i \to a_{iS}$ となり、効果的にサポート部分空間に還元される。
• StrohmerとVershyninの確率的行選択を維持しつつ、動的重み付けにより関連成分に焦点を当てることで収束を改善する。

実験結果

リサーチクエスチョン

• RQ1 射影ステップを変更することで、確率的カツチャルツアルゴリズムをスパース解に対して高速化できるか、かつ行選択のランダム性を保ったままか？
• RQ2 サポート推定に基づく動的行重み付けが、過決定系におけるスパース解の収束速度に与える影響は？
• RQ3 修正されたアルゴリズムはアンダードetermined系においてもスパース解を回復できるか？ また、$$\ell_1$ 最適化と比較して性能は？
• RQ4 サポート推定の正確さと重み減衰率の影響は、回復成功確率および収束速度にどのような影響を及えるか？
• RQ5 真の解がスパースである場合、サポートの事前知識がなくても、標準的な確率的カツチャルツよりも収束が速くなるか？

主な発見

• 過決定系において、SRKは標準的な確率的カツチャルツよりも著しく収束が速く、特に高スパース性（$k/n = 0.6$）の場合は、$A_{S_0}x_{S_0} = b$ の縮小系に適用したRKに近い収束速度を達成する。
• アンダードetermined系（$m=100$, $n=400$）において、$k/m \in \{0.1, 0.2, 0.25\}$ のスパース信号をSRKが正しく回復し、$$\ell_1$ 最適化と同等のスパース回復能力を示した。
• スパース性が高くなる（例：$k/m = 0.25$）と性能が低下するが、依然としてRKを上回り、SPGL1と同等の性能を示す。
• 全スパース性レベルにおいて、SRKは標準的なRKを上回る収束速度を示し、低スパース性領域で最も顕著な向上を示した。
• SRKの収束速度は、サポート制限行列 $\kappa(A_S)$ の条件数に反比例しており、これは $\kappa(A)$ よりも小さいため、収束加速が説明できる。
• 実験的結果から、SRKは凸最適化を必要とせず、反復的射影のみでSPGL1（標準的な$$\ell_1$ 解法）と同等の回復性能を達成した。