[論文レビュー] Information-Theoretically Optimal Compressed Sensing via Spatial Coupling and Approximate Message Passing

David L. Donoho, Adel Javanmard+1 more|arXiv (Cornell University)|Dec 4, 2011

Sparse and Compressive Sensing Techniques参考文献 47被引用数 12

ひとこと要約

本稿は、空間的に結合されたセンシング行列と近似メッセージパッシング（AMP）を用いた、情報理論的に最適な圧縮センシングフレームワークを提示する。状態遷移解析を用いたAMPを用いることで、信号分布のリーマン情報次元に一致する $¯{d}(p_X)n + o(n)$ 測定値から、高確率で再構成が可能であることを証明した。これは、スパース信号および離散信号の両方において、最適なアンダーサンプリングレートを達成する。

ABSTRACT

We study the compressed sensing reconstruction problem for a broad class of random, band-diagonal sensing matrices. This construction is inspired by the idea of spatial coupling in coding theory. As demonstrated heuristically and numerically by Krzakala et al. \cite{KrzakalaEtAl}, message passing algorithms can effectively solve the reconstruction problem for spatially coupled measurements with undersampling rates close to the fraction of non-zero coordinates. We use an approximate message passing (AMP) algorithm and analyze it through the state evolution method. We give a rigorous proof that this approach is successful as soon as the undersampling rate $δ$ exceeds the (upper) Rényi information dimension of the signal, $\uRenyi(p_X)$. More precisely, for a sequence of signals of diverging dimension $n$ whose empirical distribution converges to $p_X$, reconstruction is with high probability successful from $\uRenyi(p_X)\, n+o(n)$ measurements taken according to a band diagonal matrix. For sparse signals, i.e., sequences of dimension $n$ and $k(n)$ non-zero entries, this implies reconstruction from $k(n)+o(n)$ measurements. For `discrete' signals, i.e., signals whose coordinates take a fixed finite set of values, this implies reconstruction from $o(n)$ measurements. The result is robust with respect to noise, does not apply uniquely to random signals, but requires the knowledge of the empirical distribution of the signal $p_X$.

研究の動機と目的

• 圧縮センシングにおける情報理論的限界と実用的再構成アルゴリズムの間のギャップを埋め、最適なアンダーサンプリングレートを達成すること。
• 空間的に結合されたセンシング行列が、AMPによる再構成が上側リーマン情報次元 $\overline{d}(p_X)$ に一致するレートで達成可能であることを確立すること。
• AMPフレームワークと状態遷移を用いて、経験的分布が $p_X$ に収束する信号系列の成功再構成に関する厳密な証明を提供すること。
• 理論的保証をノイズあり設定に拡張し、普遍的な平均二乗誤差バインディングによるロバストネスを示すこと。
• 離散信号に対して $m = o(n)$ のサブラインアスケーリングを達成し、かつ高い確率で再構成を維持できることを示すこと。

提案手法

• 符号理論にインspiredされたバンド・ディアゴナル型で空間的に結合されたセンシング行列を構築し、効率的なメッセージパッシングを可能にする。
• 状態遷移を用いて推定誤差のダイナミクスを追跡する近似メッセージパッシング（AMP）アルゴリズムを採用する。
• 状態遷移方程式を用いてAMPを分析し、再構成における座標ごとの漸近的平均二乗誤差（MSE）を特徴付ける。
• 測定レートの基本的限界としてリーマン情報次元 $\overline{d}(p_X)$ を用い、最適なアンダーサンプリング閾値を定義する。
• 変分的およびエネルギーに基づく解析を用いて、状態遷移フレームワーク下でのAMPダイナミクスの収束性と安定性を証明する。
• 加法性ガウスノイズ下でのMSEバインディングを示し、信号実現に依存しない普遍的な誤差バインディングを示すことにより、ロバストネスを確立する。

実験結果

リサーチクエスチョン

• RQ1 空間的に結合されたセンシング行列とAMPを用いた近似メッセージパッシングは、圧縮センシングにおいて情報理論的に最適な再構成レートを達成できるか？
• RQ2 AMPの再構成成功閾値は、信号分布の上側リーマン情報次元 $\overline{d}(p_X)$ に正確に一致するか？
• RQ3 離散信号（すなわち $m = o(n)$）に対して、本手法はサブラインアスケーリングを達成できるか、かつ高確率での再構成を維持できるか？
• RQ4 ノイズあり測定下でAMPアルゴリズムはどのように動作するか？また、有界なMSEを達成する普遍的ロバストネスを示せるか？
• RQ5 空間的結合は、AMPが情報理論的限界に到達するのをどのように可能にするのか？そして、そのメカニズムはどのように厳密に証明されるか？

主な発見

• 空間的に結合されたセンシング行列とAMPを用いることで、$\overline{d}(p_X)n + o(n)$ 測定値から高確率で再構成が可能である。
• $k(n)$-スパース信号に対しては、$k(n) + o(n)$ 測定値から再構成が可能であり、情報理論的下界に一致する。
• 有限アルファベットを持つような離散成分を有する信号に対しては、$o(n)$ 測定値で十分であり、サブラインアスケーリングを示している。
• 状態遷移を用いたAMPアルゴリズムは普遍的ロバストネスを達成する：加法性ガウスノイズ下で座標ごとのMSEは $\sigma^2$ の定数倍で有界である。
• 証明はエネルギー関数の変分的解析と状態遷移収束性に依拠しており、固定点が最適再構成に対応することを示している。
• 本結果は、既知の経験的分布を持つ任意の信号分布 $p_X$ に対して成り立ち、信号モデルの小さな摂動に対してもロバストである。