[論文レビュー] Sparse reconstruction by convex relaxation: Fourier and Gaussian measurements

Mark Rudelson, Roman Vershynin|arXiv (Cornell University)|Feb 24, 2006

Sparse and Compressive Sensing Techniques参考文献 19被引用数 38

ひとこと要約

本稿は、ガウス測定とフーリエ測定の両方に対して、適切な定数を用いて、最初の理論的保証を、スパース信号の凸緩和による正確な再構成に関して確立した。ガウス測定の場合、$ k(r,n) \lesssim 11.7r[1.5 + \log(n/r)] $ を証明し、フーリエ測定の場合、$ k(r,n) = O(r\log n \cdot \log^2 r \cdot \log(r\log n)) $ を示した。幾何的関数解析および確率的行列理論の道具を用いて、対数要因を除いて最適なスケーリングを達成した。

ABSTRACT

We want to exactly reconstruct a sparse signal f (a vector in R^n of small support) from few linear measurements of f (inner products with some fixed vectors). A nice and intuitive reconstruction by Linear Programming has been advocated since 80-ies by Dave Donoho and his collaborators. Namely, one can relax the reconstruction problem, which is highly nonconvex, to a convex problem -- and, moreover, to a linear program. However, when is exactly the reconstruction problem equivalent to its convex relaxation is an open question. Recent work of many authors shows that the number of measurements k(r,n) needed to exactly reconstruct any r-sparse signal f of length n (a vector in R^n of support r) from its linear measurements with the convex relaxation method is usually O(r polylog(n)). However, known estimates of the number of measurements k(r,n) involve huge constants, in spite of very good performance of the algorithms in practice. In this paper, we consider random Gaussian measurements and random Fourier measurements (a frequency sample of f). For Gaussian measurements, we prove the first guarantees with reasonable constants: k(r,n) < 12 r (2 + log(n/r)), which is optimal up to constants. For Fourier measurements, we prove the best known bound k(r,n) = O(r log(n) . log^2(r) log(r log n)), which is optimal within the log log n and log^3 r factors. Our arguments are based on the technique of Geometric Functional Analysis and Probability in Banach spaces.

研究の動機と目的

• 凸緩和を用いたスパース復元における理論的境界と実用的性能のギャップを埋めること。
• ガウス測定およびフーリエ測定を含む、普遍的測定行列に対して、最初の明示的かつタイトな保証を提供すること。
• 長さ $ n $ の $ r $-スパース信号の正確な再構成に必要な測定数 $ k(r,n) $ の既存の境界を改善すること。
• ガウス測定およびフーリエ測定の両モデルにおいて、$ k(r,n) $ の最適スケーリング（対数要因を除いて）を確立すること。
• 高次元確率およびバナッハ空間における確率論の手法を用いて、簡潔で明確な証明を導出すること。

提案手法

• 非凸な $ \ell_0 $-最小化と凸な $ \ell_1 $-最小化問題の等価性の十分条件として、制限等長性性質（RIP）を用いる。
• ランダム部分空間が $ \ell_1 $-ノルム降下方向の錐に交差する確率を抑えるために、ゴードンのメッシュを通り抜ける定理を適用する。
• ホルダーの不等式とスターリングの近似を用いて、$ \ell_1 $-ノルムにおける $ r $-スパース単位ベクトルの集合のガウス幅を評価する。
• すべての $ r $-スパース信号を含む普遍的な錐を定義し、それが $ r $-スパース単位ベクトルの凸包のスケーリングされたバージョンに含まれることを示す。
• メトリックエントロピーおよび集中不等式を用いて、$ \ell_1 $-ノルム錐の構造とランダム部分空間の相互作用を分析する。
• 関連する測定集合のガウス幅を評価することで、ガウス測定および非調和フーリエ測定の両方のケースに分析を拡張する。

実験結果

リサーチクエスチョン

• RQ1 ガウス測定において、任意の $ r $-スパース信号を $ \ell_1 $-最小化によって正確に再構成するための最小測定数 $ k(r,n) $ は何か？
• RQ2 実用的性能に近づけるように、フーリエ測定に対する理論的保証を改善できるか、特に適切な定数を備えたものか？
• RQ3 普遍的測定行列の $ k(r,n) $ の最適スケーリング（対数要因を除いて）は何か？
• RQ4 幾何的関数解析の手法を用いて、スパース集合のガウス幅に対するタイトな境界を導出できるか？
• RQ5 明示的かつ非漸近的な定数を用いて、ランダムフーリエ行列およびガウス行列に対して、制限等長性性質が高確率で満たされることを検証できるか？

主な発見

• ガウス測定の場合、本稿は $ k(r,n) \lesssim 11.7r[1.5 + \log(n/r)] $ を確立した。これは定数を除いて最適である。
• フーリエ測定の場合、本稿は $ k(r,n) = O(r\log n \cdot \log^2 r \cdot \log(r\log n)) $ を証明した。これは $ \log\log n $ および $ \log^3 r $ 要因の範囲内で最適である。
• ランダム部分空間が $ \ell_1 $-錐に交差する確率を抑えるために、ゴードンのメッシュを通り抜ける定理の新しい応用が行われた。
• ガウス幅は $ w(D) \leq \sqrt{2r\log(e^{3/2}n/r)}(1+o(1)) $ で抑えられ、分析の中心的役割を果たす。
• 証明により、$ \ell_1 $-最小化の降下方向の錐が、$ r $-スパース単位ベクトルの凸包の $ \sqrt{2}+1 $ 倍の半径の普遍的集合に含まれることが示された。
• 高次元確率およびバナッハ空間幾何学の道具を活用することで、従来の大きな定数を伴う境界を改善し、明快で簡潔な証明を達成した。