[論文レビュー] Binary and Multi-Bit Coding for Stable Random Projections

Ping Li|arXiv (Cornell University)|Mar 24, 2015

Sparse and Compressive Sensing Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、$\alpha$-安定分布のスケールパラメータを推定するための効率的な1ビットおよびマルチビット符号化方式を提案する。これにより、最小限のストレージと計算コストで高精度な推定が可能となる。1ビット推定は、$\alpha=0+$ において最適に近い分散（例：1.544 vs. 1.0）を達成し、マルチビット符号化は分散を安定化させつつ、パラメータへの感受性を低減することが示された。

ABSTRACT

We develop efficient binary (i.e., 1-bit) and multi-bit coding schemes for estimating the scale parameter of $α$-stable distributions. The work is motivated by the recent work on one scan 1-bit compressed sensing (sparse signal recovery) using $α$-stable random projections, which requires estimating of the scale parameter at bits-level. Our technique can be naturally applied to data stream computations for estimating the $α$-th frequency moment. In fact, the method applies to the general scale family of distributions, not limited to $α$-stable distributions. Due to the heavy-tailed nature of $α$-stable distributions, using traditional estimators will potentially need many bits to store each measurement in order to ensure sufficient accuracy. Interestingly, our paper demonstrates that, using a simple closed-form estimator with merely 1-bit information does not result in a significant loss of accuracy if the parameter is chosen appropriately. For example, when $α=0+$, 1, and 2, the coefficients of the optimal estimation variances using full (i.e., infinite-bit) information are 1, 2, and 2, respectively. With the 1-bit scheme and appropriately chosen parameters, the corresponding variance coefficients are 1.544, $π^2/4$, and 3.066, respectively. Theoretical tail bounds are also provided. Using 2 or more bits per measurements reduces the estimation variance and importantly, stabilizes the estimate so that the variance is not sensitive to parameters. With look-up tables, the computational cost is minimal.

研究の動機と目的

• 1ビットおよびマルチビットの低ビット符号化方式を、$\alpha$-安定分布のスケールパラメータ $\\Lambda_{\\alpha}$ の推定に開発すること。
• $\alpha$-安定測定の重い尾部特性に起因するデータストリームにおける高コストなストレージおよび伝送問題に対処すること。
• スパース信号復元に不可欠な1スキャン1ビット圧縮センシングにおいて、$\sum |x_i|^\alpha$ の高精度な推定を可能とすること。
• マルチビット符号化を用いて推定分散を安定化させ、分布パラメータへの感受性を低減すること。
• 最小限の計算オーバーヘッドで1スキャン1ビット圧縮センシングに推定手順を統合すること。

提案手法

• 測定値 $y_j \sim S(\alpha, \Lambda_\alpha)$ の絶対値 $|y_j|$ を1ビット量子化する閉形式推定器を提案し、スケールパラメータ $\Lambda_\alpha$ を推定する。
• $\alpha$-安定分布フレームワーク下での1ビットおよびマルチビット推定器の理論的尾部バウンドと分散係数を導出する。
• 小さな標本サイズにおける精度向上を図るため、修正バーテレット補正を用いたバイアス補正推定器を導入する。
• 計算コストを最小限に抑えるためにルックアップテーブルを活用し、データストリーム環境におけるリアルタイム応用を可能にする。
• スパース信号復元における $\alpha$ 階周波数モーメントおよび一般 $\ell_\alpha$ ノルムの推定に本手法を適用する。
• 確率母関数のパrameterization $E[e^{i y t}] = e^{-\Lambda_\alpha |t|^\alpha}$ を用いることで、$\alpha \in (0,2]$ 全般にわたる一貫性ある推定が可能となる。

実験結果

リサーチクエスチョン

• RQ1 1ビット量子化された $|y_j|$ は、$\alpha$-安定分布におけるスケールパラメータ $\Lambda_\alpha$ の推定において高精度を達成できるか？
• RQ2 異なる $\alpha$ 値において、1ビット符号化の推定分散は、フルプレシジョン（無限ビット）推定と比較してどの程度か？
• RQ3 マルチビット符号化は分散を安定化させ、$\alpha$ や $\Lambda_\alpha$ への感受性を低減するか？
• RQ4 1ビットデータにおける小さな標本サイズにおいて、バーテレット補正はバイアス補正にどの程度効果的か？
• RQ5 提案された符号化方式は、スパース信号復元のための1スキャン1ビット圧縮センシングに、効率的に統合可能か？

主な発見

• $\alpha = 0^+$ の場合、1ビット推定器は最適な1.0に近い分散係数1.544を達成する。
• $\alpha = 1$ の場合、1ビットの分散係数は $\pi^2/4 \approx 2.467$ であり、フルプレシジョンの2.0と比較してやや高い。
• $\alpha = 2$ の場合、1ビットの分散係数は3.066であり、フルプレシジョンの2.0と比較して中程度の精度損失を示す。
• 1測定あたり2ビット以上を用いることで、推定分散が著しく低減され、パrameter値にわたる安定性が向上する。
• 小さな標本サイズにおいて、バーテレット補正は1ビット推定器のバイアス低減に特に効果的である。
• 本手法により、追加測定を最小限に抑えつつ、1スキャン1ビット圧縮センシングにおける $\sum |x_i|^\alpha$ の高精度な推定が可能となる。