[論文レビュー] Sample Complexity Bounds for 1-bit Compressive Sensing and Binary Stable Embeddings with Generative Priors

Zhaoqiang Liu, Selwyn Gomes+2 more|arXiv (Cornell University)|Feb 5, 2020

Sparse and Compressive Sensing Techniques被引用数 11

ひとこと要約

本稿は、Lipschitz連続な生成モデルを事前分布として用いる1ビット圧縮センシングにおける標本複雑性の境界を確立し、$ O(k \log L) $ 個のガウス測定値が、Lipschitz連続生成モデルからの信号の近似復元に十分であることを示している。また、情報理論的下界が一致する。さらに、これらの条件下で二値$\epsilon$-安定埋め込みが成り立つことを証明し、測定ノイズに対しても安定な復元が可能であることを示している。

ABSTRACT

The goal of standard 1-bit compressive sensing is to accurately recover an unknown sparse vector from binary-valued measurements, each indicating the sign of a linear function of the vector. Motivated by recent advances in compressive sensing with generative models, where a generative modeling assumption replaces the usual sparsity assumption, we study the problem of 1-bit compressive sensing with generative models. We first consider noiseless 1-bit measurements, and provide sample complexity bounds for approximate recovery under i.i.d.~Gaussian measurements and a Lipschitz continuous generative prior, as well as a near-matching algorithm-independent lower bound. Moreover, we demonstrate that the Binary $\\epsilon$-Stable Embedding property, which characterizes the robustness of the reconstruction to measurement errors and noise, also holds for 1-bit compressive sensing with Lipschitz continuous generative models with sufficiently many Gaussian measurements. In addition, we apply our results to neural network generative models, and provide a proof-of-concept numerical experiment demonstrating significant improvements over sparsity-based approaches.

研究の動機と目的

• スパarsity仮定の代わりに生成的事前分布を用いることで、1ビット圧縮センシングと生成的モデリングを統合すること。
• 生成的モデリングの下で1ビット圧縮センシングにおける近似信号復元のタイトな標本複雑性境界を確立すること。
• Lipschitz連続生成モデルを用いた1ビットCSにおいて、二値$\epsilon$-安定埋め込み性質が成り立つことを証明し、事前量子化ノイズに対してロバストであることを保証すること。
• 生成的事前分布がスパarsityベースの手法に比べて1ビットCSにおいて理論的に優位であることを示し、必要な測定数の削減を実現すること。
• 低精度・高スループット信号取得システムにおける深層生成モデルの使用の理論的基盤を提供すること。

提案手法

• 信号がLipschitz連続生成モデルを介して生成される場合、独立同一分布に従うガウス測定行列を用いて、信号の二値符号測定値をサンプリングする。
• 情報理論的解析を適用し、標本複雑性の上界と下界を導出し、$ m = \Omega(k \log(n/k)) $ が$ \epsilon $-精度の復元に必要かつ十分であることを示す。
• 単位球面上のパッキング数の議論を用いて下界を確立し、構造化された信号集合におけるハミング距離に対してギルバート＝ヴァルシャモフの補題を応用する。
• 十分な測定回数のもとで、Lipschitz連続生成モデルを用いた1ビットCSにおいて、二値$\epsilon$-安定埋め込み性質が成り立つことを証明し、事前量子化ノイズに対してもロバストな復元を保証する。
• 生成モデルのリプシッツ定数$ L $を分析し、標本複雑性とモデル容量の関係を明らかにし、半径$ r $の下で$ m = \Omega(k \log(Lr)) $ を示す。
• ニューラルネットワークベースの生成モデルを用いた概念実証の数値実験により理論を検証し、スパarsityベースの手法に比べて顕著な性能向上を示した。

実験結果

リサーチクエスチョン

• RQ1 信号がLipschitz連続生成モデルの近傍に存在する場合、1ビット測定値を最小何個必要とすれば、近似的に信号を復元できるか？
• RQ2 生成的事前分布を用いた1ビット圧縮センシングにおいて、二値$\epsilon$-安定埋め込み性質が成り立つのか。これにより測定ノイズに対してもロバストであるか？
• RQ3 信号次元およびモデル複雑性に依存する点で、生成的モデルを用いた1ビットCSの標本複雑性は、スパarsityベースの1ビットCSと比べてどのように異なるか？
• RQ4 生成的事前分布による圧縮センシングの理論的利点が、1ビット量子化領域に拡張可能か。また、その根本的限界は何か？
• RQ5 生成的モデルを用いた1ビットCSにおける情報理論的下界は何か。また、復元アルゴリズムから得られる上界と比べてどうか？

主な発見

• Lipschitz定数$ L $をもつ生成モデルを用いた1ビット圧縮センシングの標本複雑性は$ O(k \log L) $ である。ここで$ k $は潜在次元、$ L $はリプシッツ定数である。
• 情報理論的下界$ \Omega(k \log(n/k)) $ が確立され、上界が対数要因を除いてタイトであることが示された。
• 十分に多くのi.i.d.ガウス測定値のもとで、生成的モデルを用いた1ビットCSにおいて、二値$\epsilon$-安定埋め込み性質が成り立つ。これにより、事前量子化ノイズに対してもロバストな復元が保証される。
• ニューラルネットワークベースの生成モデルでは、理論的枠組みにより、スパarsityベースの手法に比べて必要な測定数を顕著に削減可能であることが、概念実証実験で示された。
• リプシッツ定数$ L $と潜在空間の半径$ r $との関係を用いて、$ m = \Omega(k \log(Lr)) $ の標本複雑性境界が導出された。これにより、モデル容量に依存する依存関係が明らかになった。
• 解析により、信号エネルギーが$ (k-1)x_{\max}^2 = 3x_c^2 $ を満たすとき、下界$ \Omega(k \log(n/k)) $ が$ \Omega(k \log(Lr)) $ に等価であることが示され、モデルパラメータと測定要件との間の関係が明確になった。