[論文レビュー] Exponential decay of reconstruction error from binary measurements of sparse signals

Richard G. Baraniuk, Simon Foucart+3 more|arXiv (Cornell University)|Jul 31, 2014

Sparse and Compressive Sensing Techniques参考文献 37被引用数 12

ひとこと要約

本稿では、1ビット圧縮センシングにおける適応的しきい値戦略を提案し、再構成誤差を指数関数的に減少させることに成功した。これは、標準的な $\Omega(\lambda^{-1})$ の多項式的減少よりも優れた結果である。信号推定に基づいて逐次的に量子化しきい値を調整することで、第二順序錐計画法とハードしきい値法の両方のアルゴリズムが、$e^{-\Omega(\lambda)}$ の誤差境界を達成可能となる。ここで $\lambda$ は過サンプリング要因である。

ABSTRACT

Binary measurements arise naturally in a variety of statistical and engineering applications. They may be inherent to the problem---e.g., in determining the relationship between genetics and the presence or absence of a disease---or they may be a result of extreme quantization. In one-bit compressed sensing it has recently been shown that the number of one-bit measurements required for signal estimation mirrors that of unquantized compressed sensing. Indeed, $s$-sparse signals in $\mathbb{R}^n$ can be estimated (up to normalization) from $Ω(s \log (n/s))$ one-bit measurements. Nevertheless, controlling the precise accuracy of the error estimate remains an open challenge. In this paper, we focus on optimizing the decay of the error as a function of the oversampling factor $λ:= m/(s \log(n/s))$, where $m$ is the number of measurements. It is known that the error in reconstructing sparse signals from standard one-bit measurements is bounded below by $Ω(λ^{-1})$. Without adjusting the measurement procedure, reducing this polynomial error decay rate is impossible. However, we show that an adaptive choice of the thresholds used for quantization may lower the error rate to $e^{-Ω(λ)}$. This improves upon guarantees for other methods of adaptive thresholding as proposed in Sigma-Delta quantization. We develop a general recursive strategy to achieve this exponential decay and two specific polynomial-time algorithms which fall into this framework, one based on convex programming and one on hard thresholding. This work is inspired by the one-bit compressed sensing model, in which the engineer controls the measurement procedure. Nevertheless, the principle is extendable to signal reconstruction problems in a variety of binary statistical models as well as statistical estimation problems like logistic regression.

研究の動機と目的

• 非適応的1ビット圧縮センシングにおける多項式的誤差減少の制限を解消すること、すなわち誤差が $\Omega(\lambda^{-1})$ として減少すること。
• 信号推定に基づいて適応的に量子化しきい値を選択することで、指数関数的誤差減少 $e^{-\Omega(\lambda)}$ を達成する手法の開発。
• 第二順序錐計画法に基づくおよびハードしきい値法に基づく、計算的に効率的なアルゴリズムを設計し、この改善された誤差率を達成すること。
• 圧縮センシングの枠組みを越えて、ロジスティック回帰やしきい値グループテストを含むバイナリ統計モデルへと拡張すること。
• 適応的しきい値が、測定回数を $\Omega(s\log(n/s))$ を超えて増加させない範囲で、再構成精度を顕著に向上させられることを示すこと。

提案手法

• 信号推定に基づいて逐次的に更新されるしきい値を用いた再帰的適応的しきい値フレームワークを提案し、量子化を精緻化する。
• 適応的しきい値を組み込んだ凸最適化問題を解く第二順序錐計画法に基づくアルゴリズムを導入する。
• ハードしきい値法に基づくアルゴリズムを開発し、適応的量子化を用いてスパース信号のサポートと推定値を反復的に精緻化する。
• 再帰的戦略によりしきい値を調整し、量子化領域を信号の構造とより整合させるようにすることで、再構成の忠実度を向上させる。
• i.i.d. 標準正規分布に従う測定行列 $\mathbf{A}$ を用い、各測定値に対して適応的符号付き量子化を適用する。
• 尤度推定の一部としてしきい値の適応をモデル化することで、ロジスティック回帰などの他のバイナリモデルへも一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 1ビット圧縮センシングにおける適応的しきい値が、非適応的手法の $\Omega(\lambda^{-1})$ の境界を超えて指数関数的誤差減少を達成できるか。
• RQ2 信号推定に基づいて適応的にしきい値が選択された場合に達成可能な理論的誤差減少率は何か。
• RQ3 適応的しきい値を実装するにあたり、強力な誤差保証を維持しつつ、多項式時間で実行可能な効率的アルゴリズムを設計できるか。
• RQ4 提案手法は、既存の非適応的凸法および反復的手法と比較して、再構成精度においてどのように優れているか。
• RQ5 このフレームワークは、ロジスティック回帰やしきち値グループテストなどの他のバイナリ統計モデルへどの程度拡張可能か。

主な発見

• 提案された適応的しきい値フレームワークは、再構成誤差が $e^{-\Omega(\lambda)}$ に減少することを達成した。ここで $\lambda = m / (s\log(n/s))$ は過サンプリング要因であり、非適応的手法の $\Omega(\lambda^{-1})$ の境界に比べて指数的改善を示している。
• 第二順序錐計画法に基づくアルゴリズムは、提案された適応的量子化スキーム下で、頑健かつ高精度な再構成を実現し、指数関数的誤差減少を達成した。
• ハードしきい値法に基づくアルゴリズムは、多項式時間で同様の指数関数的誤差減少を達成でき、大規模問題に対して計算的に効率的である。
• 理論的解析により、適応的しきい値が、標準的1ビット圧縮センシングに内在する根本的な多項式的誤差減少の壁を打ち破ることを示した。
• フレームワークは、$\ell_1$-正則化ロジスティック回帰などのバイナリ回帰モデルへも拡張可能であり、適応的しきい値によって推定精度が向上する。
• 図5aおよび5bの実験結果により、両アルゴリズムが非適応的対応手法と比較して顕著に低い相対誤差を達成することが確認された。特に測定回数が増加するにつれてその差が顕著になった。