[論文レビュー] A Simple Message-Passing Algorithm for Compressed Sensing

Venkat Chandar, Devavrat Shah+1 more|arXiv (Cornell University)|Jan 23, 2010

Sparse and Compressive Sensing Techniques参考文献 17被引用数 4

ひとこと要約

本稿では、二部拡張グラフから導かれるバイナリ測定行列を用いて、非負スパースベクトルを圧縮センシングで復元する単純なメッセージスワッピングアルゴリズムを提案する。このアルゴリズムは、O(n log(n/k) log k) 時間で k-スパース信号の正確な復元を保証し、O(k log(n/k)) 測定値を用いる。また、弱い拡張条件の下で一般の非負信号に対して ℓ₁/ℓ₁ の誤差バウンドを提供する。

ABSTRACT

We consider the recovery of a nonnegative vector x from measurements y = Ax, where A is an m-by-n matrix whos entries are in {0, 1}. We establish that when A corresponds to the adjacency matrix of a bipartite graph with sufficient expansion, a simple message-passing algorithm produces an estimate \hat{x} of x satisfying ||x-\hat{x}||_1 \leq O(n/k) ||x-x(k)||_1, where x(k) is the best k-sparse approximation of x. The algorithm performs O(n (log(n/k))^2 log(k)) computation in total, and the number of measurements required is m = O(k log(n/k)). In the special case when x is k-sparse, the algorithm recovers x exactly in time O(n log(n/k) log(k)). Ultimately, this work is a further step in the direction of more formally developing the broader role of message-passing algorithms in solving compressed sensing problems.

研究の動機と目的

• 非負ベクトルの圧縮センシングのための決定的で低複雑性のメッセージスワッピングアルゴリズムを開発すること。
• 二部拡張グラフから導かれるバイナリ測定行列のみを用いて、正確および近似的な復元の理論的保証を確立すること。
• 既存の組合せ的アルゴリズムを改善し、必要な拡張係数と実行時間を低減しつつ、強い誤差バウンドを維持すること。
• 符号理論におけるメッセージスワッピング解析を、敵対的誤差モデルを伴う圧縮センシングに拡張すること。
• メッセージスワッピングが、圧縮センシングフレームワークにおいて、証明可能な保証のもとで近最適な性能を達成できることを示すこと。

提案手法

• 測定行列 A がグラフの隣接行列である二部グラフ上でメッセージスワッピングフレームワークを用いる。
• 変数ノード（信号成分）とチェックノード（測定値）の間でメッセージを反復的に交換し、局所的な近傍情報に基づいて信号値の推定値を更新する。
• 十分な接続性と誤り訂正能力を確保するため、グラフにおける (1/2 + ε)-マッチング構成を利用する。
• 推定誤差の ℓ₁ ノルムに基づく再帰的誤差バウンドを用いて、反復の過程での誤差の変化を追跡する。
• 十分な拡張性を持つグラフにおける (1/2 + ε)-マッチングの存在を示すために最大フロー定式化を用い、収束保証の根拠とする。
• 誤差を低減するために O(log k) 回の反復を実行し、各反復で全ノードを並列処理するため、効率的な実装が可能である。

実験結果

リサーチクエスチョン

• RQ1 単純なメッセージスワッピングアルゴリズムは、O(k log(n/k)) 測定値のみを用いて、k-スパース非負信号を正確に復元できるか？
• RQ2 二部グラフのどの拡張性が、メッセージスワッピングによる正確な復元を保証するのに十分か？
• RQ3 正確に k-スパースでない一般の非負信号に対し、アルゴリズムが有界な ℓ₁/ℓ₁ 誤差バウンドを提供できるか？
• RQ4 メッセージスワッピングアルゴリズムの実行時間は、既存の組合せ的および凸最適化ベースの手法と比べてどうか？
• RQ5 符号理論と同様に、敵対的誤差モデルをメッセージスワッピングで取り扱えるか？

主な発見

• 測定行列が拡張係数が 0.5 を超える二部グラフに対応する場合、任意の k-スパース非負ベクトルが O(n log(n/k) log k) 時間で正確に復元される。
• 一般の非負信号に対しては、ℓ₁/ℓ₁ 誤差バウンドが達成される：||x − x̂||₁ ≤ O(n/k) ||x − x⁽ᵏ⁾||₁ であり、x⁽ᵏ⁾ は x の最良の k-スパース近似である。
• 必要な測定数は O(k log(n/k)) であり、情報理論的下界に対して対数要因を除いて一致する。
• 総計算コストは O(n (log(n/k))² log k) であり、k が n に対して非線形的に増加する領域では、既存の大多数の組合せ的アルゴリズムよりも高速である。
• Sipser-Spielman アルゴリズム（0.75）よりも低い拡張係数（0.5）を要するが、非負信号にのみ適用可能である。
• 分析は、従来の確率的解析とは異なり、敵対的ノイズのもとで決定的保証を提供し、ランダムまたはスパースでない非負信号に対しても適用可能である。