[論文レビュー] Thresholded Basis Pursuit: Quantizing Linear Programming Solutions for Optimal Support Recovery and Approximation in Compressed Sensing

Venkatesh Saligrama, Manqi Zhao|arXiv (Cornell University)|Sep 29, 2008

Sparse and Compressive Sensing Techniques被引用数 20

ひとこと要約

本稿では、ノイズのある測定値からスパース信号を復元するためのしきい値付きベースベーシスプルーフィング法を提案する。この手法は線形計画法を用いて初期推定値を得た後、その解にしきい値処理を施して元の信号のサポートを抽出する。理論的に、スパース性kが信号次元nに線形に比例する場合、SNR = O(log n) かつ m = O(k) 測定値があれば、完全な復元が保証されることを示している。これは、従来のLASSOおよびMAX相関法に比べ、SNRとスパース性の要件において優れている。

ABSTRACT

We consider the Compressed Sensing problem. We have a large under-determined set of noisy measurements Y = GX + N, where X is a sparse signal and G is drawn from a random ensemble. In our previous work, we had shown that a signal-to-noise ratio, SNR = O(log n) is necessary and sufficient for support recovery from an information-theoretic perspective. In this paper we present a linear programming solution for support recovery. The solution of the problem amounts to solving min ‖Z‖1 s.t. Y = GZ, and quantizing/thresholding the resulting solution Z. We show that this scheme is guaranteed to perfectly reconstruct a discrete signal or control the element-wise reconstruction error for a continuous signal for specific values of sparsity. We show that in the linear regime when the sparsity, k, increases linearly with signal dimension, n, the sign pattern of X can be recovered with SNR = O(log n) and m = O(k) measurements. Our proof technique is based on perturbation of the noiseless ℓ1 problem. Consequently, the achievable sparsity level in the noisy problem is comparable to that of the noiseless problem. Our result offers a sharp characterization in that neither the SNR nor the sparsity ratio can be significantly improved. In contrast previous results based on LASSO and MAX-Correlation techniques assume significantly larger SNR or sub-linear sparsity. We also show that our final result can be obtained from Dvoretsky theorem rather than the restricted isometry property (RIP). The advantage of this line of reasoning is that Dvoretsky’s theorem continues to hold for non-singular transformations while RIP property may not be satisfied for the latter case. We also consider approximation in terms of ℓ2 and show that our bounds match existing bounds for LASSO in this case.

研究の動機と目的

• ノイズありで不十分な測定値下での、圧縮センシングにおける信頼性の高いサポート復元の課題に対処すること。
• スパース信号復元における最適な信号対ノイズ比（SNR）および測定値要件を満たす手法を開発すること。
• サポート復元におけるSNR、スパース性、測定値数の間のトレードオフを明確に特徴づけること。
• スパース性kが線形スパース性（k = Θ(n)）の下で、最小限のSNRで本手法が有効であることを示し、従来のLASSOおよびMAX相関手法を凌駆すること。
• 制限等方性性（RIP）に依存するのではなく、Dvoretzkyの定理を用いて理論的保証を確立することで、特異でない変換に対しても適用範囲を広げること。

提案手法

• 標準的なベースベーシスプルーフィング問題を解く：Y = GZ を満たす条件下で ‖Z‖₁ を最小化し、初期のスパース推定値を得る。
• 得られた解Zに対してしきい値処理を施し、元の信号Xのサポートを抽出する。
• ノイズなしℓ₁問題の摂動解析を用いて、ノイズ存在下での誤差を評価する。
• 線形スパース性とO(log n)のSNR下での符号パターン復元を解析し、復元保証を確立する。
• 制限等方性性（RIP）に依存するのではなく、Dvoretzkyの定理を用いることで、特異でない変換に対しても成立する条件を広く満たす。
• ℓ₂近似誤差を解析し、この設定下でLASSOの最良の境界と一致する誤差境界を示す。

実験結果

リサーチクエスチョン

• RQ1 線形計画法に基づく手法にしきい値処理を施すことで、最小限のSNRおよび測定値制約下でも完全なサポート復元が達成可能か？
• RQ2 スパース性が信号次元に線形に比例する場合、信頼性の高いサポート復元に必要な最小SNRは何か？
• RQ3 本手法の性能は、SNRおよびスパース性要件の観点から、LASSOおよびMAX相関手法と比べてどのように異なるか？
• RQ4 Dvoretzkyの定理を制限等方性性（RIP）の代わりに復元保証の基盤として用いることは可能か？
• RQ5 本手法のℓ₂近似境界は、LASSOのそれとどの程度一致するか？

主な発見

• スパース性kが信号次元nに線形に比例する場合、SNR = O(log n) かつ m = O(k) 測定値があれば、本手法は完全なサポート復元を達成する。
• 提案手法は、同じSNRおよび測定値の下で、正確な符号パターン復元を保証しており、情報理論的下界と一致する。
• LASSOおよびMAX相関手法に比べ、本手法ははるかに低いSNRまたは非線形スパース性を要件としているが、同等の保証を達成できる。
• RIPに依存するのではなくDvoretzkyの定理を用いることで、RIPが失敗する非特異変換に対してもロバスト性を確保できる。
• ℓ₂近似に関して、本手法の誤差境界は、同様の設定下で知られているLASSOの最良の境界と一致する。
• 理論的解析により、SNRおよびスパース性比をさらに著しく改善することは不可能であることが示され、復元限界の鋭い特徴づけがなされている。