[論文レビュー] Compressed Sensing using Generative Models

Ashish Bora, Ajil Jalal+2 more|arXiv (Cornell University)|Mar 9, 2017

Sparse and Compressive Sensing Techniques参考文献 30被引用数 291

ひとこと要約

tldr: 本論文は圧縮感知における疎性を生成的事前情報に置換し、ランダムなガウス測定がサイズ O(kd log n) であれば、生成器の潜在空間での勾配降下法による正確な回復が可能であることを示す。しばしば Lasso より 5–10 倍少ない測定で達成される。

ABSTRACT

The goal of compressed sensing is to estimate a vector from an underdetermined system of noisy linear measurements, by making use of prior knowledge on the structure of vectors in the relevant domain. For almost all results in this literature, the structure is represented by sparsity in a well-chosen basis. We show how to achieve guarantees similar to standard compressed sensing but without employing sparsity at all. Instead, we suppose that vectors lie near the range of a generative model $G: \mathbb{R}^k \to \mathbb{R}^n$. Our main theorem is that, if $G$ is $L$-Lipschitz, then roughly $O(k \log L)$ random Gaussian measurements suffice for an $\ell_2/\ell_2$ recovery guarantee. We demonstrate our results using generative models from published variational autoencoder and generative adversarial networks. Our method can use $5$-$10$x fewer measurements than Lasso for the same accuracy.

研究の動機と目的

• 疎性を超える圧縮感知のための代替的な構造事前情報を動機づける。
• 生成モデルの Range に対する理論的枠組み（S/REC）を形式化する。
• 広範な生成器クラスに対して、Gaussian 測定行列が S/REC を満たすことを示す。
• 勾配降下法を用いて潜在空間を最適化する際に回復保証を提供する。
• VAE および GAN を用いた実データセットでの実用的な性能を示す。

提案手法

• z ∈ R^k に対して ||A G(z) - y||_2^2 を最小化する最適化を定式化し、x̂ = G(ẑ) を回復する。
• 生成器が好む領域を促進する正則化項 L(z) を導入する。例: L(z)=λ||z||^2。
• S = range(G) に対する REC の一般化として Set-Restricted Eigenvalue Condition (S/REC) を確立する。
• m の緩やかな境界の下で、ランダムな Gaussian A が S/REC(G(B^k(r)), 1−α, δ) を満たすことを示す。
• 再構成誤差を、生成器の範囲内での最良近似と測定誤差および最適化誤差に結びつける誤差境界を導出する。
• リップシッツ (L) およびリップシッツネットワーク (d 層) の保証を提供し、m = O(k log L) または m = O(kd log n) を与える。

実験結果

リサーチクエスチョン

• RQ1 y=Ax*+η から G(z) によって x* を信頼性高く回復するには、いくつの Gaussian 測定 m が必要か？
• RQ2 生成器の潜在空間での勾配降下法は、証明可能な保証とともに x* を回復できるか？
• RQ3 回復誤差は、生成器の範囲内での最良近接および測定誤差・最適化誤差とどのように関連するか？
• RQ4 結果は ReLU ネットワークから任意の L-リプシッツ生成器へ拡張されるか？
• RQ5 実データ（MNIST, CelebA）で VAE および GAN を使用する場合の実践的な性能影響は、Lasso と比較してどうか？

主な発見

• ガウス行列は高い確率で生成器の範囲に対して S/REC を満たし、回復保証を可能にする。
• d層ニューラルネットワーク（VAE/GAN）では、良好な再構成を高い確率で達成するのに、測定数 m = O(kd log n) が十分である。
• 潜在空間最適化は、ノイズおよび最適化誤差に比例する項とともに、x* に最も近い生成器範囲内近似に基づく x̂ を回復する。
• 実証的な結果は、いくつかの条件で Lasso より 5–10 倍少ない測定で同等の精度を達成することを示す。
• MNIST および CelebA では、少数のガウス測定からの再構成が競合的であり、総誤差の大きな要因として表現誤差が特定される。
• 超解像実験は、測定が生成器の範囲制約と一致するときに鮮明な再構成を示す。