[論文レビュー] Shannon Theoretic Limits on Noisy Compressive Sampling

Mehmet Akçakaya, Vahid Tarokh|ArXiv.org|Nov 2, 2007

Sparse and Compressive Sensing Techniques参考文献 7被引用数 18

ひとこと要約

この論文は、ノイズのある圧縮サンプリングにおけるスパース信号のシャノン的理論限界を確立し、最適な情報理論的復元を用いる場合、線形スパース性領域（L = Θ(M)）ではO(L)の測定値が、信頼性のある復元に必要かつ十分であることを示している。サブラインアスパース性（L = o(M)）では、さまざまな性能指標においてO(L log(M−L))の測定値が必要であり、理論的限界と実用的なL1正則化手法との間に根本的なギャップが存在することが明らかになった。

ABSTRACT

In this paper, we study the number of measurements required to recover a sparse signal in ${\mathbb C}^M$ with $L$ non-zero coefficients from compressed samples in the presence of noise. For a number of different recovery criteria, we prove that $O(L)$ (an asymptotically linear multiple of $L$) measurements are necessary and sufficient if $L$ grows linearly as a function of $M$. This improves on the existing literature that is mostly focused on variants of a specific recovery algorithm based on convex programming, for which $O(L\log(M-L))$ measurements are required. We also show that $O(L\log(M-L))$ measurements are required in the sublinear regime ($L = o(M)$).

研究の動機と目的

• ノイズのある圧縮サンプリングからスパース信号を復元するために必要な測定回数の根本的限界を特定すること。
• スパースレベルL、環境次元M、測定回数Nの間のトレードオフを、さまざまな性能指標のもとで分析すること。
• L1正則化（LASSO）などの実用的アルゴリズムと理論的限界を比較すること。LASSOはO(L log(M−L))の測定値を必要とする。
• 0-1損失、部分的サポート復元、エネルギー復元を含む、複数の誤差指標について、達成可能性と逆転結果を確立すること。
• 特定の性能指標のもとで、信号パワーPがNに従って増加する必要がないことを示し、先行研究を改善すること。

提案手法

• 共同典型性に基づくデコーダを用いて、ノイズのある圧縮サンプリングにおける最適復元をモデル化し、情報理論的解析を可能にする。
• 3つの性能指標を分析：正確なサポート復元（0-1損失）、部分的サポート復元（非ゼロ要素の割合α）、エネルギー復元（全パワーの1−γの割合）。
• 大偏差解析とエントロピーの上限を用いて、各指標の達成可能および逆転レートを導出する。
• 誤差確率の挙動を特徴付けるために、関数f(z)、k(z)、d(z)および関連する対数表現を用いて漸近的境界を導出する。
• 線形スパース性（L = θ(M)）とサブラインアスパース性（L = o(M)）の両領域を検討する。
• 背理法とエントロピーに基づく境界を用いて逆転結果を確立し、測定値が不十分な場合、復元が信頼できないことを示す。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある圧縮サンプリングからL個の非ゼロ係数を持つスパース信号を信頼性高く復元するために、最小でどの程度の測定回数Nが必要か？
• RQ2 正確なサポート復元、部分的サポート復元、エネルギー復元といった異なる性能指標は、必要な測定回数にどのような影響を与えるか？
• RQ3 最適なデコーディングを用いる場合、線形スパース性領域（L = θ(M)）でO(L)の測定値で信頼性のある復元が可能か？
• RQ4 情報理論的限界と実用的なL1正則化手法（例：LASSO）との間の測定要件における根本的なギャップは何か？
• RQ5 さまざまな性能指標のもとで、信頼性のある復元のためには、全信号パワーPがNに従って増加する必要があるか？

主な発見

• 線形スパース性領域（L = θ(M)）では、最適な情報理論的デコーダを用いる場合、O(L)の測定値が信頼性のある復元に必要かつ十分である。
• サブラインアスパース性領域（L = o(M)）では、すべての検討された性能指標において、信頼性のある復元にO(L log(M−L))の測定値が必要である。
• 誤差指標1（0-1損失）では、ある定数C′₁（μ(x)とνに依存）に対して、N ≺ C′₁ L log(M−L) であれば、信頼性のある復元は不可能である。
• 誤差指標2（部分的サポート復元）では、N ≻ C′₃ L log(M−L) かつPが定数のとき、信頼性のある復元が可能であり、C′₃はα、μ(x)、νに依存する。
• 誤差指標3（エネルギー復元）では、Pが定数のとき、N ≻ C′₅ L log(M−L) であれば信頼性のある復元が可能であり、C′₅はγ、P、νに依存する。
• 逆転結果により、Pが定数でL = o(M)のとき、すべての指標においてO(L log(M−L))が信頼性のある復元に必要であることが示され、LASSOのような実用的アルゴリズムの根本的限界を示している。