[논문 리뷰] Compressed Sensing using Generative Models

Ashish Bora, Ajil Jalal외 2명|arXiv (Cornell University)|2017. 03. 09.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 291

한 줄 요약

논문은 희소성을 생성 priors로 대체하여 압축 센싱을 보여주며, 생성기의 잠재 공간에서 그래디언트 하강을 통해 정확한 회복에 충분한 임의 가우시안 측정이 크기 O(kd log n)임을 보여준다. Lasso보다 종종 5–10x 적은 측정으로도 가능하다.

ABSTRACT

The goal of compressed sensing is to estimate a vector from an underdetermined system of noisy linear measurements, by making use of prior knowledge on the structure of vectors in the relevant domain. For almost all results in this literature, the structure is represented by sparsity in a well-chosen basis. We show how to achieve guarantees similar to standard compressed sensing but without employing sparsity at all. Instead, we suppose that vectors lie near the range of a generative model $G: \mathbb{R}^k o \mathbb{R}^n$. Our main theorem is that, if $G$ is $L$-Lipschitz, then roughly $O(k \log L)$ random Gaussian measurements suffice for an $\ell_2/\ell_2$ recovery guarantee. We demonstrate our results using generative models from published variational autoencoder and generative adversarial networks. Our method can use $5$-$10$x fewer measurements than Lasso for the same accuracy.

연구 동기 및 목표

• 희소성 이외의 대체 구조적 사전 정보에 대한 동기를 제시한다.
• 생성 모델의 범위에 대한 이론적 프레임워크(S/REC)를 형식화한다.
• 가우시안 측정 행렬이 광범위한 생성기 클래스에 대해 S/REC를 만족함을 보인다.
• 잠재 공간에서 그래디언트 하강을 사용한 최적화로 회복 보장을 제공한다.
• VAE와 GAN을 이용한 실제 데이터셋에서의 실용적 성능을 보여준다.

제안 방법

• z ∈ R^k에서 ||A G(z) - y||_2^2를 최소화하는 최적화를 형식화하고 x̂ = G(ẑ)를 회복한다.
• 생성기가 선호하는 영역을 조장하기 위한 정규화항 L(z)를 도입한다. 예: L(z)=λ||z||^2.
• S = range(G)에 대한 REC의 일반화로 Set-Restricted Eigenvalue Condition (S/REC)을 확립한다.
• 약한 m의 한계 하에서 무작위 가우시안 A가 S/REC(G(B^k(r)), 1−α, δ)를 만족함을 보인다.
• 재구성 오차를 생성기의 범위 내 최적 근사 및 측정/최적화 오차에 연결하는 오차 경계를 도출한다.
• Lipschitz (L) 및 Lipschitz-network (d-layer) 보장을 제공하여 m = O(k log L) 또는 m = O(kd log n) 를 얻는다.

실험 결과

연구 질문

• RQ1 y=Ax*+η에서 G(z)를 통해 x*를 신뢰적으로 회복하기 위해 필요한 가우시안 측정 수 m은 몇인가?
• RQ2 생성기의 잠재 공간에서의 그래디언트 하강이 증명 가능한 보장으로 x*를 회복할 수 있는가?
• RQ3 회복 오차가 생성기의 범위 내 최적 근사 및 측정/최적화 오차와 어떻게 관련되는가?
• RQ4 결과가 ReLU 네트에서 임의의 L-Lipschitz 생성기로 확장되는가?
• RQ5 실제 데이터(MNIST, CelebA)에서 VAE와 GAN을 사용할 때의 실용적 성능 영향은 Lasso와 비교하여 어떤가?

주요 결과

• 가우시안 행렬은 생성기 범위에 대해 높은 확률로 S/REC를 만족하여 회복 보장을 가능하게 한다.
• d-층 신경망(VAEs/GANs)의 경우, m = O(kd log n) 측정으로도 높은 확률로 좋은 재구성이 가능하다.
• 잠재 공간 최적화는 x̂를 x*에 가깝게 회복하되, 최적의 생성기 범위 근사 내에서 노이즈 및 최적화 오차에 비례하는 항과 함께이다.
• 실험 결과 이 방법은 Lasso보다 5–10배 적은 측정을 사용하여 유사한 정확도를 달성한다.
• MNIST와 CelebA에서 적은 Gaussian 측정으로 얻은 재구성은 경쟁력이 있으며, 표현 오차가 총 오차의 주요 구성요소로 확인된다.
• 초해상도 실험은 측정이 생성기의 범위 제약과 일치할 때 선명한 재구성을 시연한다.