[論文レビュー] Sparse Recovery with Very Sparse Compressed Counting

Ping Li, Cun‐Hui Zhang+1 more|arXiv (Cornell University)|Dec 31, 2013

Sparse and Compressive Sensing Techniques参考文献 13被引用数 4

ひとこと要約

本稿では、最大に歪んだ $\alpha$-安定分布から抽出された設計行列と、$(1-\gamma)$-部分がゼロとなるようにスパース化されたものを使い、非負のスパース信号の復元を目的とした Very Sparse Compressed Counting を提案する。$\gamma = 1/K$ または $2/K$ の場合、それぞれ $1.58K\log N/\delta$ または $1.16K\log N/\delta$ の測定値で十分であり、非常にスパースな行列を用いても近似的に最適な測定数を得られる。

ABSTRACT

Compressed sensing (sparse signal recovery) often encounters nonnegative data (e.g., images). Recently we developed the methodology of using (dense) Compressed Counting for recovering nonnegative K-sparse signals. In this paper, we adopt very sparse Compressed Counting for nonnegative signal recovery. Our design matrix is sampled from a maximally-skewed p-stable distribution (00, it suffices to use M= K/(1-exp(-gK) log N measurements, so that all coordinates can be recovered in one scan of the coordinates. If g = 1 (i.e., dense design), then M = K log N. If g= 1/K or 2/K (i.e., very sparse design), then M = 1.58K log N or M = 1.16K log N. This means the design matrix can be indeed very sparse at only a minor inflation of the sample complexity. Interestingly, as p->1, the required number of measurements is essentially M = 2.7K log N, provided g= 1/K. It turns out that this result is a general worst-case bound.

研究の動機と目的

• 非負の $K$-スパース信号のための圧縮センシング手法を開発し、ストレージおよび計算コストを低減するための非常にスパースな設計行列を用いる。
• 特に $\alpha \to 0^+$ および $\alpha \to 1^-$ の場合に、最大に歪んだ $\alpha$-安定分布におけるスパース Compressed Counting の測定複雑性を分析する。
• スパース設計行列を用い、$\gamma = 1/K$ または $2/K$ の場合、密度のある設計と比較して測定要件がわずかに増加することを示す。
• すべての信号成分を $\epsilon$ の加法的誤差で $1-\delta$ の確率で復元するための測定数 $M$ の理論的境界を確立する。

提案手法

• 設計行列の各要素を最大に歪んだ $\alpha$-安定分布 $S(\alpha,1,1)$ から独立に抽出し、各要素を確率 $1-\gamma$ でゼロに設定することでスパース化する。
• 線形測定値は $y_j = \sum_{i=1}^N x_i [s_{ij} r_{ij}]$ で得られ、ここで $r_{ij}$ はスパース性を表すベルヌーイ($\gamma$)確率変数である。
• 信号復元推定器は $\hat{x}_{i,\min,\gamma} = \min_{j \in T_i} \frac{y_j}{s_{ij} r_{ij}}$ で定義され、$T_i$ は $r_{ij} = 1$ となるインデックスの集合である。
• 理論的分析では、誤差確率 $\Pr(\hat{x}_{i,\min,\gamma} > x_i + \epsilon)$ を用い、$\alpha$-安定分布の生存関数を用いて境界を導出する。
• 主な境界は、$\alpha \to 0^+$ の極限において、$F_{0+}(t) = \frac{1}{1+1/t}$ が成り立ち、二項分布に従う $\eta_{ij}$ の期待値 $\mathbb{E}[1/(1+\eta_{ij})]$ を用いる。
• 測定数 $M$ は、$N \cdot \Pr(\hat{x}_{i,\min,\gamma} > x_i + \epsilon) \leq \delta$ を解くことで導出され、$\alpha \to 0^+$ のとき $M = \frac{K}{1 - e^{-\gamma K}} \log N / \delta$ となる。

実験結果

リサーチクエスチョン

• RQ1 非常にスパースな設計行列を用いても、非負スパース信号の復元において測定複雑性にほとんど損失がないか？
• RQ2 非常にスパースな Compressed Counting を用いた $K$-スパース非負信号の $\epsilon$-加法的復元に必要な理論的測定複雑性 $M$ は何か？
• RQ3 $\gamma$（スパース性レベル）および $\alpha$（安定分布の歪度）の選択が測定数に与える影響は？
• RQ4 異なる $\alpha$ および $\gamma$ の設定にわたって成り立つ一般的な最悪ケースの測定複雑性の境界はあるか？
• RQ5 $\gamma = 1/K$ のような非常にスパースな行列であっても、近似的に最適な測定複雑性を達成できるか？

主な発見

• $\alpha \to 0^+$ のとき、必要な測定数は $M = \frac{K}{1 - e^{-\gamma K}} \log N / \delta$ となり、$\gamma = 1$（密度のある設計）のとき $M = K \log N / \delta$ に簡略化される。
• $\gamma = 1/K$ の場合、必要な $M$ は約 $1.58K \log N / \delta$ であり、密度のある場合と比較して58%の増加にとどまる。
• $\gamma = 2/K$ の場合、必要な $M$ は約 $1.16K \log N / \delta$ であり、密度のある場合と比較して16%の増加にとどまる。
• $\alpha \to 1^-$ のとき、$\gamma = 1/K$ の場合、必要な $M$ は漸近的に $eK \log N / \delta$ となる。これは一般の最悪ケース境界であることが示された。
• 理論的分析により、誤差確率が $M$ と共に指数的に減少することが確認され、$\alpha \to 0^+$ のとき $\Pr(\hat{x}_{i,\min,\gamma} > x_i + \epsilon) \leq \left[1 - \frac{1}{K+1}(1 - (1-\gamma)^{K+1})\right]^M$ の境界が成り立つ。
• 数値シミュレーションにより、$\alpha = 0.05$ のような小さな $\alpha$ に対しても大きな数値的不安定性は見られなかったが、精度が限られたデバイスではより大きな $\alpha$ を必要とする可能性がある。