[論文レビュー] Reed Muller Sensing Matrices and the LASSO

Robert Calderbank, Sina Jafarpour|arXiv (Cornell University)|Apr 28, 2010

Sparse and Compressive Sensing Techniques参考文献 12被引用数 5

ひとこと要約

本稿では、四元Delsarte-Goethals符号からの符号語を累乗することにより構築された2つの決定的センシング行列族—Delsarte-Goethalsフレームおよびスieves—を紹介する。これらの行列は低コherー二ンスおよびスペクトルノルムを達成し、特にサポート回復精度と再構成速度の面で、ノイズのない状態およびノイズのある状態の両方において、LASSOアルゴリズムを用いた圧縮センシング復元において、ランダムなガウス行列を上回る優れた性能を発揮する。

ABSTRACT

We construct two families of deterministic sensing matrices where the columns are obtained by exponentiating codewords in the quaternary Delsarte-Goethals code $DG(m,r)$. This method of construction results in sensing matrices with low coherence and spectral norm. The first family, which we call Delsarte-Goethals frames, are $2^m$ - dimensional tight frames with redundancy $2^{rm}$. The second family, which we call Delsarte-Goethals sieves, are obtained by subsampling the column vectors in a Delsarte-Goethals frame. Different rows of a Delsarte-Goethals sieve may not be orthogonal, and we present an effective algorithm for identifying all pairs of non-orthogonal rows. The pairs turn out to be duplicate measurements and eliminating them leads to a tight frame. Experimental results suggest that all $DG(m,r)$ sieves with $m\leq 15$ and $r\geq2$ are tight-frames; there are no duplicate rows. For both families of sensing matrices, we measure accuracy of reconstruction (statistical 0-1 loss) and complexity (average reconstruction time) as a function of the sparsity level $k$. Our results show that DG frames and sieves outperform random Gaussian matrices in terms of noiseless and noisy signal recovery using the LASSO.

研究の動機と目的

• 圧縮センシングの性能を向上させるために、証明可能な低コヒーレンスおよびスペクトルノルムを持つ決定的センシング行列の開発。
• Delsarte-Goethals符号を用いた代数的符号に基づく構造化されたセンシング行列の構築により、スパース信号復元に適した幾何的性質を確保すること。
• LASSO復元フレームワーク下で、これらの行列とランダムなガウス行列との性能比較。
• 測定ノイズおよびデータドメインノイズの両方に対する、提案された行列のロバストネスの分析。
• 実用的な信号復元タスクにおいて、決定的DG行列がランダム行列と同等またはそれを上回る性能を発揮できることの実証。

提案手法

• 四元Delsarte-Goethals符号 $DG(m,r)$ からの符号語を累乗することで、$N$ 次元球面上に一様に分布するベクトルを生成し、センシング行列を構築する。
• 2つの行列族の定義：Delsarte-Goethalsフレーム（累乗された符号語の全集合）およびスieves（サブサンプリングされたバージョン）。両者とも低コヒーレンスを持つタイトフレームを形成する。
• LASSOの成功に必要なRIPに類似した条件を満たすために、最悪ケースのコヒーレンス $\mu$ およびスペクトルノルム $\|\Phi\|_2$ を分析する。
• CandèsとPlanのコヒーレンスに基づくLASSO復元保証を用いて、確率的ノイズ下での理論的性能境界を導出する。
• LASSO復元にはSpaRSA、Basis Pursuit復元には $\ell_1$-magic を使用し、ノイズ分散に合わせて正則化パラメータを調整する。
• スパarsityレベル、SNR、ノイズモデル（測定ノイズおよびデータドメインノイズ）の多様な条件下で、DG行列とガウス行列の間で広範な数値実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 Delsarte-Goethals符号から導出される決定的センシング行列は、$\ell_1$-ベースの復元（LASSO）の安定性を保証するのに十分なコヒーレンスおよびスペクトルノルム水準に達するか？
• RQ2 ノイズのない状態およびノイズのある状態の両方において、DGフレームおよびスievesはランダムなガウス行列と比較して、再構成精度および速度で優れているか？
• RQ3 DG行列は、さまざまなスパarsityレベルおよび信号対ノイズ比（SNR）においても高い性能を維持するか？
• RQ4 DGスievesにおける行の直交性および重複測定値の役割は何か？また、フレームのタイトネスを保持するために、それらはどのように是正可能か？
• RQ5 構造化された決定的行列は、ランダム行列と比較して、データドメインノイズに対してより強い耐性を示すか？

主な発見

• DG(m,r)フレームおよびスievesは、最悪ケースのコヒーレンス $\mu = O(1/\sqrt{N})$ を達成し、スペクトルノルム $\|\Phi\|_2$ は最適に近い値を示す。これは、LASSO成功に必要な理論的条件を満たしている。
• $m \leq 15$ および $r \geq 2$ の範囲では、実験結果からDGスievesがタイトフレームであり、重複行が存在しないことが示され、強い構造的安定性が裏付けられた。
• ノイズのない復元において、DG行列はサポート回復精度においてランダムなガウス行列を上回り、特に高スパarsityレベルにおいて、統計的0-1損失で測定された。
• ノイズのある状態では、DG行列は測定ノイズおよびデータドメインノイズの両方において、ガウス行列を著しく上回り、より低い再構成誤差およびより短い平均再構成時間を達成した。
• SpaRSA（$\lambda = 10^{-9}$）および $\ell_1$-magic を用いたBasis Pursuitの実行により、同等の条件下でDG行列がガウス行列よりもより正確な復元を可能にすることが確認された。
• 結果から、構造化された決定的行列が、実用的な圧縮センシングタスクにおいて、ランダム行列と同等またはそれ以上の性能を発揮できること、特にLASSOを用いる場合に顕著であることが示された。