[論文レビュー] L2/L2-foreach sparse recovery with low risk

Anna C. Gilbert, Hung Q. Ngo+3 more|arXiv (Cornell University)|Apr 23, 2013

Sparse and Compressive Sensing Techniques参考文献 13被引用数 24

ひとこと要約

本稿は、低失敗確率を伴う ℓ₂/ℓ₂-foreach スパースリカバリーのための新規フレームワークを導入し、近似的に最適な測定複雑度と非線形時間の復号を達成する。再帰的スパースリカバリーとリスト復元可能コード（特に Loomis-Whitney 不等式から導かれる Reed-Solomon コード）を組み合わせることで、タイトな境界を確立し、最適測定値に対する対数的オーバーヘッドを有する初の非線形時間 ℓ₁/ℓ₁ リカバリー系を提供する。

ABSTRACT

In this paper, we consider the "foreach" sparse recovery problem with failure probability $p$. The goal of which is to design a distribution over $m imes N$ matrices $Φ$ and a decoding algorithm $\algo$ such that for every $\vx\in\R^N$, we have the following error guarantee with probability at least $1-p$ \[\|\vx-\algo(Φ\vx)\|_2\le C\|\vx-\vx_k\|_2,\] where $C$ is a constant (ideally arbitrarily close to 1) and $\vx_k$ is the best $k$-sparse approximation of $\vx$. Much of the sparse recovery or compressive sensing literature has focused on the case of either $p = 0$ or $p = Ω(1)$. We initiate the study of this problem for the entire range of failure probability. Our two main results are as follows: \begin{enumerate} \item We prove a lower bound on $m$, the number measurements, of $Ω(k\log(n/k)+\log(1/p))$ for $2^{-Θ(N)}\le p <1$. Cohen, Dahmen, and DeVore \cite{CDD2007:NearOptimall2l2} prove that this bound is tight. \item We prove nearly matching upper bounds for extit{sub-linear} time decoding. Previous such results addressed only $p = Ω(1)$. \end{enumerate} Our results and techniques lead to the following corollaries: (i) the first ever sub-linear time decoding $\lolo$ "forall" sparse recovery system that requires a $\log^γ{N}$ extra factor (for some $γ<1$) over the optimal $O(k\log(N/k))$ number of measurements, and (ii) extensions of Gilbert et al. \cite{GHRSW12:SimpleSignals} results for information-theoretically bounded adversaries.

研究の動機と目的

• p=0（forall）と p=Ω(1)（foreach）の極端な場合の間の、中間的失敗確率におけるスパースリカバリーのギャップを埋める。
• 低失敗確率 p を維持しつつ、非線形時間の復号と近似的に最適な測定回数を達成するスパースリカバリー系を設計すること。
• 情報理論的制限を受ける敵に対する先行研究を拡張し、最適測定値に対する対数的オーバーヘッドを持つ初の非線形時間 ℓ₁/ℓ₁ リカバリー系を提供すること。
• 全失敗確率範囲にわたって成り立つ、ℓ₂/ℓ₂-foreach リカバリーの新たな下界を確立すること。p=0 を含む。
• 従来の通信複雑度に基づく手法よりも単純かつ直感的な、スパースリカバリーにおける下界の証明技法を新たに開発すること。

提案手法

• Loomis-Whitney 不等式から導かれるパラメータを有する Reed-Solomon コードを用いて、リスト復元可能コードに基づく弱識別行列の再帰的構築を導入する。
• Porat と Strauss の再帰的スパースリカバリー枠組みを、従来の符号理論ではなくスパースリカバリーに特化した効率的な復号が可能なリスト復元可能コードと組み合わせる新規手法を採用する。
• 各レベルで重いヘッダーを特定する再帰的識別プロセスを採用し、リスト復元特性を持つコードを用いることで、汚染に対する耐性を確保する。
• 誤差伝播と失敗確率の分析を、数え上げ的議論により精緻化し、各再帰レベルにおける汚染された重いヘッダーの数を制限する。
• Cohen らの幾何的下界技術を、失敗確率 p の全範囲をカバーできるように適合させた。
• パラメータ ρ = 1/4 および b = O(2^{1/ε}) を用い、測定回数と復号時間の最適なトレードオフを実現するコードパラメータを調整する。

実験結果

リサーチクエスチョン

• RQ1 全失敗確率範囲（中間的値を含む）において、ℓ₂/ℓ₂-foreach スパースリカバリーの最適測定複雑度は何か？
• RQ2 最適測定値 O(k log(N/k)) に対して対数的オーバーヘッド log^γ N を有する非線形時間の復号が、ℓ₁/ℓ₁ スパースリカバリーで達成可能か？
• RQ3 失敗確率 p を任意に小さくしつつ、近似的に最適な測定回数と効率的な復号を維持できるか？
• RQ4 全 p ∈ [2^{-Θ(N)}, 1) に対して一様に成り立つ、ℓ₂/ℓ₂-foreach リカバリーの測定回数に対するタイトな下界は何か？
• RQ5 通信複雑度に基づく証明よりも単純かつ一般性の高い、スパースリカバリーにおける下界証明技法を新たに開発できるか？

主な発見

• 本稿は、ℓ₂/ℓ₂-foreach スパースリカバリーにおける測定回数に対して、Ω(k log(N/k) + log(1/p)) の下界を確立し、失敗確率の全範囲でタイトであることを示した。
• 最適測定回数に近い O(k log(N/k) · log^γ N) の測定回数を有する、初の非線形時間 ℓ₁/ℓ₁ スパースリカバリー系を提示した（γ < 1）。
• 提案された構成により、失敗確率 p′(N) ≤ (N/k)^{-Ω(ζk / 𝒩^{O(log(1/ρ)/log r)})} が達成され、𝒩 = log_A N および A = Ω(ζ^{-6} η^{-2} k^r log^2(N/k)) である。
• 測定回数は O(g(ζ,η) · k log(N/k) · 𝒩^{log(r/b)/log b}) で抑えられ、𝒩 = log_A N および r = 2b+1 であり、k および N に関して近似的に最適であることが示された。
• 復号時間は O(ζ^{-3} η^{-2} · 𝒩 · A · log A) + O(ζ^{-3} η^{-2} (k/η)^r · poly(log N)) であり、適切なパラメータ選択により非線形時間の複雑度を達成した。
• 下界証明技法は、従来の通信複雑度に基づく手法よりも単純かつ直感的であり、Cohen らの p=0 の場合の Ω(N) の下界を、全失敗確率範囲に一般化した。