[論文レビュー] (1+eps)-approximate Sparse Recovery

Eric Price, David P. Woodruff|arXiv (Cornell University)|Oct 19, 2011

Sparse and Compressive Sensing Techniques参考文献 12被引用数 7

ひとこと要約

この論文は、ℓ₁およびℓ₂ノルムにおける(1+ε)-近似スパースリカバリの測定複雑度を解消し、kスパース出力に対してはk/εᵖ·polylog(n)の測定が必要かつ十分であることを示している。非スパース出力におけるℓ₂では、(1/ε)k log(n/k)がタイトな境界である。また、ℓ₁では1/εに依存する既存の手法を上回る、O(log³(1/ε)/√ε · k log n)の測定を達成する新しいアルゴリズムを提案している。

ABSTRACT

The problem central to sparse recovery and compressive sensing is that of stable sparse recovery: we want a distribution of matrices A in R^{m imes n} such that, for any x \in R^n and with probability at least 2/3 over A, there is an algorithm to recover x* from Ax with ||x* - x||_p <= C min_{k-sparse x'} ||x - x'||_p for some constant C > 1 and norm p. The measurement complexity of this problem is well understood for constant C > 1. However, in a variety of applications it is important to obtain C = 1 + eps for a small eps > 0, and this complexity is not well understood. We resolve the dependence on eps in the number of measurements required of a k-sparse recovery algorithm, up to polylogarithmic factors for the central cases of p = 1 and p = 2. Namely, we give new algorithms and lower bounds that show the number of measurements required is (1/eps^{p/2})k polylog(n). For p = 2, our bound of (1/eps) k log(n/k) is tight up to constant factors. We also give matching bounds when the output is required to be k-sparse, in which case we achieve (1/eps^p) k polylog(n). This shows the distinction between the complexity of sparse and non-sparse outputs is fundamental.

研究の動機と目的

• εが小さいときの(1+ε)-近似スパースリカバリの測定複雑度の理解におけるギャップを埋めること。
• kスパース出力と非kスパース出力の測定要件における根本的な違いが存在するかどうかを解明すること。
• ℓ₁およびℓ₂ノルムにおける(1+ε)-近似リカバリに必要な測定数のタイトな下界と上界を確立すること。
• ℓ₁リカバリにおける測定複雑度の1/ε依存を改善する新しいアルゴリズムの開発

提案手法

• 上位2k要素のしきい値処理を用いたCount-Sketchに基づく新アルゴリズムを提案し、(1/ε)k log(n/k)の測定でℓ₂における(1+ε)-近似リカバリを達成する。
• 誤り訂正符号とノイズのある線形測定からの回復に基づく新しい下界技術を導入する。
• 特定の距離特性を持つ符号のリストデコーディングへの還元を用いて、kスパース出力に対するΩ(k/εᵖ)の下界を導出する。
• ダミー座標とノイズモデルを用いた双対的議論により、k=1の場合の下界を導出し、一般のkに拡張する。
• 摂動下での線形スケッチのロバストネス分析を用いて、Count-Sketchで上位2k要素をしきい値処理することで、高確率で(1+ε)-近似が得られることを示す。
• 確率的構成と集中不等式を組み合わせ、失敗確率δ = o(1)の高確率でリカバリを保証する。

実験結果

リサーチクエスチョン

• RQ1 非kスパース出力における(1+ε)-近似ℓ₂スパースリカバリの最適な測定複雑度は何か？
• RQ2 kスパース出力と非kスパース出力の測定複雑度に、(1+ε)-近似リカバリにおいて根本的な差があるか？
• RQ3 ℓ₁リカバリにおける測定複雑度の1/ε²依存を1/εまたはそれ以下に改善できるか？
• RQ4 kスパース出力における(1+ε)-近似ℓ₁リカバリの測定数に対するタイトな下界は何か？
• RQ5 失敗確率δが(1+ε)-近似リカバリにおける測定複雑度にどのように影響するか？

主な発見

• 非kスパース出力におけるℓ₂リカバリでは、測定複雑度がΘ((1/ε)k log(n/k))であり、定数要因を除いて上界と一致する。
• kスパース出力におけるℓ₂リカバリでは、測定複雑度がΩ((1/ε²)k)かつO((1/ε²)k log n)であり、非スパース出力とは顕著なギャップがあることが示された。
• kスパース出力におけるℓ₁リカバリでは、測定複雑度がΩ(k/ε)かつO((1/ε)k log n)であり、多項式対数因子を除いて一致する。
• 一般（非kスパース）出力におけるℓ₁リカバリでは、測定複雑度がΩ(k/√ε)かつO((log³(1/ε)/√ε)k log n)であり、従来の1/ε依存を改善している。
• 本論文は、kスパース出力と非kスパース出力の測定複雑度の違いが、(1+ε)-近似の枠組みにおいて根本的であることを確立した。
• 提案されたアルゴリズムは、(1/ε)k log(n/k)の測定で(1+ε)-近似ℓ₂リカバリを達成し、失敗確率1−n⁻Ω(1)を満たし、高確率リカバリにおいて従来手法を上回っている。