[論文レビュー] Sub-linear Time Support Recovery for Compressed Sensing using Sparse-Graph Codes

Li Xiao, Dong Yin+3 more|arXiv (Cornell University)|Dec 24, 2014

Sparse and Compressive Sensing Techniques参考文献 78被引用数 19

ひとこと要約

本論文は、スパース・グラフ・コードを用いた圧縮センシングフレームワークを提案し、スパース信号のサポート回復をサブラインアー時間で実現するとともに、オーダー最適な測定コストを達成する。容量に近い符号にインspiredされたスパース測定行列を設計することにより、ノイズなしの場合に$O(K)$の時間計算量、ノイズあり・量子化ありの設定では$O(K\text{log}(N/K))$の時間計算量を達成し、信号次元$N$に対してサブラインアーなスケーリングを実現する。これにより、マスィブなスパースデータセットのニアリアルタイム処理が可能となる。

ABSTRACT

We study the support recovery problem for compressed sensing, where the goal is to reconstruct the a high-dimensional $K$-sparse signal $\mathbf{x}\in\mathbb{R}^N$, from low-dimensional linear measurements with and without noise. Our key contribution is a new compressed sensing framework through a new family of carefully designed sparse measurement matrices associated with minimal measurement costs and a low-complexity recovery algorithm. The measurement matrix in our framework is designed based on the well-crafted sparsification through capacity-approaching sparse-graph codes, where the sparse coefficients can be recovered efficiently in a few iterations by performing simple error decoding over the observations. We formally connect this general recovery problem with sparse-graph decoding in packet communication systems, and analyze our framework in terms of the measurement cost, time complexity and recovery performance. In the noiseless setting, our framework can recover any arbitrary $K$-sparse signal in $O(K)$ time using $2K$ measurements asymptotically with high probability. In the noisy setting, when the sparse coefficients take values in a finite and quantized alphabet, our framework can achieve the same goal in time $O(K\log(N/K))$ using $O(K\log(N/K))$ measurements obtained from measurement matrix with elements $\{-1,0,1\}$. When the sparsity $K$ is sub-linear in the signal dimension $K=O(N^δ)$ for some $0

研究の動機と目的

• サブラインアーなスパース性$K=O(N^\delta)$（$0<\delta<1$）の下で、圧縮センシングにおいてサブラインアーな測定コストとサブラインアーな計算時間の両方を達成する挑戦に応えること。
• 信号次元$N$とともに効率的にスケーリングする測定行列と復元アルゴリズムを設計し、高い復元精度を維持すること。
• ノイズあり・量子化あり・連続値のスパース信号の両方において、測定コストと実行時間の両方でオーダー最適な性能を達成すること。
• 連続値の場合における$\varepsilon$-精度のサポート回復と、$\varepsilon$-有界な$\ell_1$ノルム誤差について理論的保証を提供すること。
• 理論的解析とシミュレーションを通じて、スケーラビリティとリアルタイム実現可能性を実証すること。

提案手法

• フレームワークは、左および右の次数を制御した二部グラフ構造を用いて構築されたスパース測定行列を採用する。
• 通信システムにおける誤り訂正デコードにインspiredされた低複雑度の反復的メッセージパッシングアルゴリズムを用いて復元を実行し、効率的なサポート同定を実現する。
• 二段階のプロセスを用いる：最初にバインニングと検証測定を用いた初期サポート検出を行い、その後、LDPCなどの内部符号を用いて係数推定を実行する。
• 連続値係数の場合、アルゴリズムは量子化バインとシングルトン検出を用い、非ゼロエントリを高い確率で同定する。
• 理論的解析により、復元問題をスパース・グラフデコードに結びつけ、符号理論における既知の収束性および誤り確率の境界を活用できる。
• 測定行列の要素が\{-1, 0, 1\}に制限されることで、ハードウェアの複雑さが最小限に抑えられ、効率的な実装が可能となる。

実験結果

リサーチクエスチョン

• RQ1 サブラインアーなスパース性$K=O(N^\delta)$（$0<\delta<1$）の下で、圧縮センシングフレームワークがサブラインアーな測定コストとサブラインアーな実行時間の両方を達成できるか？
• RQ2 ノイズあり・量子化ありの圧縮センシングにおいて、測定コストと計算複雑度の両方でオーダー最適なスケーリングを達成できるか？
• RQ3 有界な係数の大きさを持つ連続値スパース信号に対して、強力な$\ell_1$ノルム復元保証を提供できるか？
• RQ4 係数が連続分布から抽出された場合、サポート回復の正確性と時間計算量の両面でアルゴリズムはどのように動作するか？
• RQ5 ノイズのある観測を扱えるようにフレームワークを拡張できるか？ その際、サブラインアーなスケーリングと低誤り確率を維持できるか？

主な発見

• ノイズなしの設定では、$2K$回の測定で誤差確率が消えるように、任意の$K$-スパース信号を$O(K)$時間で回復可能である。
• ノイズあり・量子化ありの係数（$K=O(N^\delta)$）において、$O(K\text{log}(N/K))$の時間と測定コストを達成し、これはオーダー最適である。
• 有界な係数の大きさを持つ連続アルファベット設定では、任意の$(1-p)$-分数のサポートを$O(K\text{log}(N/K)\text{log}\text{log}(N/K))$回の測定と$O(K\text{log}^{1+r}(N/K))$の実行時間で回復可能であり、$r>0$は任意に小さい。
• 係数の大きさが$O(K^c)$（$c<1$）で有界な連続係数の場合、$\|\widehat{\mathbf{x}} - \mathbf{x}\|_1 \leq \kappa\|\mathbf{x}\|_1$を任意に小さい$\kappa$で保証できる。
• 十分な測定回数があれば、各回復係数について$\ell_\infty$ノルムで$O(\epsilon)$の誤差が達成され、$\epsilon$は任意に小さい。
• シミュレーションにより、測定コストと実行時間の両方において理論的なサブラインアーなスケーリングが確認され、時間計算量は$K$に線形に依存し、$N$への依存は弱い。