[論文レビュー] Topics in Compressed Sensing

Deanna Needell|ArXiv.org|May 27, 2009

Sparse and Compressive Sensing Techniques参考文献 54被引用数 65

ひとこと要約

本学位論文は、圧縮センシングにおけるスパース信号回復のための高度なアルゴリズムを導入・分析しており、正則化直交マッチング Pursuit (ROMP) や圧縮サンプリングマッチング Pursuit (CoSaMP) といったグリーディ法に焦点を当てている。これらの手法は、基底 Pursuit の安定性と回復保証を達成すると同時に、グリーディ法の高速性を維持する。CoSaMP は測定数と回復誤差の点で最適であり、従来の L1 最適化法やグリーディ法を上回る性能を示す。

ABSTRACT

Compressed sensing has a wide range of applications that include error correction, imaging, radar and many more. Given a sparse signal in a high dimensional space, one wishes to reconstruct that signal accurately and efficiently from a number of linear measurements much less than its actual dimension. Although in theory it is clear that this is possible, the difficulty lies in the construction of algorithms that perform the recovery efficiently, as well as determining which kind of linear measurements allow for the reconstruction. There have been two distinct major approaches to sparse recovery that each present different benefits and shortcomings. The first, L1-minimization methods such as Basis Pursuit, use a linear optimization problem to recover the signal. This method provides strong guarantees and stability, but relies on Linear Programming, whose methods do not yet have strong polynomially bounded runtimes. The second approach uses greedy methods that compute the support of the signal iteratively. These methods are usually much faster than Basis Pursuit, but until recently had not been able to provide the same guarantees. This gap between the two approaches was bridged when we developed and analyzed the greedy algorithm Regularized Orthogonal Matching Pursuit (ROMP). ROMP provides similar guarantees to Basis Pursuit as well as the speed of a greedy algorithm. Our more recent algorithm Compressive Sampling Matching Pursuit (CoSaMP) improves upon these guarantees, and is optimal in every important aspect.

研究の動機と目的

• L1 最適化の理論的保証とグリーディ法の計算効率の間のギャップを埋めること。
• スパース信号の安定的かつ強力な回復を達成する新しいアルゴリズムの開発と分析をすること。
• 重み付き L1 最適化とランダム化 Kaczmarz を通じて、測定数の低減と回復誤差の低減を実現し、既存手法を改善すること。
• 提案されたアルゴリズムの厳密な理論的分析と数値的検証（収束性と性能の上限）を提供すること。
• 研究および応用分野での再現性とベンチマークのための、すべてのアルゴリズムの実用的 MATLAB 実装を提供すること。

提案手法

• 正則化ステップを用いて安定的回復を保証する、反復的にサポート原子を同定するグリーディ法である Regularized Orthogonal Matching Pursuit (ROMP) を提案する。
• マッチング Pursuit と反復的しきい値処理・サポートの最適化を組み合わせた、最適な性能を達成するグリーディ法である Compressive Sampling Matching Pursuit (CoSaMP) を導入する。
• L1 目的関数内の重みを反復的に調整することでスパarsity を向上させ、再構成誤差を低減する、重み付き L1 最適化を採用する。
• ノイズのある線形方程式系を解くためにランダム化 Kaczmarz 法を分析し、悪条件のシステムにおける収束を高速化するためのランダムな行選択を用いる。
• 制限等方性性（restricted isometry property）とコherence 界（coherence bounds）を用いた理論的分析と、数値実験を組み合わせてアルゴリズムの性能を検証する。
• すべてのアルゴリズムを MATLAB で実装し、付録に詳細なコードを記載することで、異なる信号次元とスパarsity 水準での再現性とベンチマークが可能になる。

実験結果

リサーチクエスチョン

• RQ1 グリーディ法が、基底 Pursuit と同等の回復保証を達成しつつ、高速な実行時間を維持できるか？
• RQ2 グリーディ法を用いたスパース信号の安定的かつ強力な回復に必要な最適な測定数は何か？
• RQ3 重み付き L1 最適化は、標準的な L1 最適化と比較して、回復誤差と測定効率の点でどの程度向上するか？
• RQ4 ランダム化 Kaczmarz をノイズのある、不定の線形システムにおけるスパース信号回復に適応可能か？また、理論的収束保証は得られるか？
• RQ5 提案されたアルゴリズム（ROMP, CoSaMP, 重み付き L1, ランダム化 Kaczmarz）は、スパarsity とノイズレベルの変動に応じて、実行時間、精度、耐性性の点でどのように比較されるか？

主な発見

• CoSaMP は最適な回復性能を達成し、n 次元空間内の k スパース信号に対して O(k log n) の測定数で十分であり、理論的下界と一致する。
• ROMP は基底 Pursuit と同等の回復保証を提供するが、著しく高速な実行時間を有するため、大規模問題に適している。
• 重み付き L1 最適化は、特にノイズのある状況下で、標準的な L1 最適化と比較して再構成誤差と測定要件を低減する。
• ランダム化 Kaczmarz 法は、ノイズのある線形方程式系に対して線形収束するが、測定行列のコherence と行ノルムに依存する収束速度を示す。
• 数値実験の結果、測定数がスパarsity の 8 倍以上であれば、CoSaMP はスパース信号を 99% 以上の成功率で回復する。
• 提案されたすべてのアルゴリズム、特に CoSaMP と重み付き L1 最適化は、ノイズ下でも従来の基底 Pursuit や標準 OMP よりも精度と耐性性に優れている。