[논문 리뷰] Modeling Sparse Deviations for Compressed Sensing using Generative Models

Manik Dhar, Aditya Grover외 1명|arXiv (Cornell University)|2018. 07. 04.

Sparse and Compressive Sensing Techniques인용 수 25

한 줄 요약

이 논문은 깊이 학습된 생성 모델과 희소 편차 모델을 결합하여 생성 모델의 지원을 초월해 정확한 신호 복원을 가능하게 하는 압축 측정 프레임워크인 Sparse-Gen을 제안한다. 신호를 $ G(\hat{z}) + \hat{\nu} $ 형태로 모델링하고, $ \ell_1 $-정규화된 희소 편차 $ \hat{\nu} $를 사용함으로써, LASSO 및 표준 생성 모델 기반 방법에 비해 더 높은 복원 정확도를 달성하며, 특히 표적 도메인 데이터가 제한된 전이 측정 설정에서 유리하다.

ABSTRACT

In compressed sensing, a small number of linear measurements can be used to reconstruct an unknown signal. Existing approaches leverage assumptions on the structure of these signals, such as sparsity or the availability of a generative model. A domain-specific generative model can provide a stronger prior and thus allow for recovery with far fewer measurements. However, unlike sparsity-based approaches, existing methods based on generative models guarantee exact recovery only over their support, which is typically only a small subset of the space on which the signals are defined. We propose Sparse-Gen, a framework that allows for sparse deviations from the support set, thereby achieving the best of both worlds by using a domain specific prior and allowing reconstruction over the full space of signals. Theoretically, our framework provides a new class of signals that can be acquired using compressed sensing, reducing classic sparse vector recovery to a special case and avoiding the restrictive support due to a generative model prior. Empirically, we observe consistent improvements in reconstruction accuracy over competing approaches, especially in the more practical setting of transfer compressed sensing where a generative model for a data-rich, source domain aids sensing on a data-scarce, target domain.

연구 동기 및 목표

• 생성 모델 기반 압축 측정의 한계, 즉 생성 모델의 범위를 초월한 신호 복원이 불가능한 점을 해결하기 위해.
• 깊이 학습된 생성 모델의 강력한 인도적 편향과 희소 벡터 복원의 유연성을 결합하기 위해.
• 낮은 측정 수요를 유지하면서도 전체 신호 공간에서 정확한 복원을 가능하게 하기 위해.
• 자원이 제한된 표적 도메인에서 소스 도메인의 생성 모델이 도움이 되는 전이 압축 측정 환경에서의 성능 향상.
• 표준 희소성 또는 고정된 생성 모델 지원을 초월해 새로운 유형의 신호를 압축 측정으로 복원할 수 있는 이론적 및 실증적 검증.

제안 방법

• 신호를 $ x = G(\hat{z}) + \hat{\nu} $ 로 모델링하며, 여기서 $ G $ 는 미리 훈련된 깊이 학습된 생성 모델이고, $ \hat{\nu} $ 는 희소 편차 벡터이다.
• 측정값 $ y $ 와 복원된 신호 $ A(G(\hat{z}) + \hat{\nu}) $ 간의 오차를 최소화하면서 $ \ell_1 $-정규화된 편차 $ \hat{\nu} $ 를 고려해 잠재 코드 $ \hat{z} $ 와 희소 편차 $ \hat{\nu} $ 를 최적화한다: $ \| y - A(G(\hat{z}) + \hat{\nu}) \|_2^2 + \lambda \| \hat{\nu} \|_1 $.
• 생성 모델 $ G $ 로서 변분 오토인코더(Variational Autoencoders, VAEs)를 사용하여 경량 학습 및 경량 기반 최적화를 가능하게 한다.
• 비볼록 최적화 문제로 복원 문제를 설정함으로써, $ G $ 의 표현력 있는 사전 정보를 유지하면서도 $ \ell_1 $-정규화를 통해 편차를 허용한다.
• 이 프레임워크는 $ G(z) = 0 $ 인 경우 LASSO로 일반화되며, $ \hat{\nu} = 0 $ 인 경우 표준 생성 모델 복원으로 일반화된다.
• 소스 도메인 VAE를 미세조정하거나 그대로 사용하여, 표적 도메인에서 데이터가 적은 조건에서의 전이 압축 측정에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 생성 모델 기반 압축 측정을 생성 모델의 지원을 초월해 복원 가능한 신호로 확장할 수 있는가?
• RQ2 생성 사전 정보에서의 희소 편차를 모델링하면, 측정 수가 제한된 조건에서도 복원 정확도가 향상되는가?
• RQ3 제안된 프레임워크는 소스 도메인 모델이 자원이 부족한 표적 도메인에서 측정을 보조하는 전이 압축 측정에 일반화 가능한가?
• RQ4 이 새로운 신호 모델에 대해 복원 오차에 대한 이론적 보장을 어떻게 확보할 수 있는가?
• RQ5 복원 오차와 측정 효율성 측면에서 Sparse-Gen은 LASSO 및 표준 생성 모델 기반 복원에 비해 성능가 어떻게 비교되는가?

주요 결과

• 동일한 측정 수에서 MNIST 및 Omniglot 데이터셋에서 LASSO 및 표준 생성 모델 기반 복원보다 Sparse-Gen이 더 낮은 복원 오차를 기록한다.
• Sparse-Gen의 복원 오차는 측정 수가 증가함에 따라 단조롭게 감소하며, $ m = n $ 에서는 사라지므로 이론적 수렴을 확인한다.
• 전이 압축 측정에서, 표적 도메인 데이터가 부족한 조건에서 Sparse-Gen은 기준 방법보다 뚜렷이 뛰어난 성능을 보이며, 소스 도메인 VAE에서 유도된 효과적인 사전 정보 덕분이다.
• Sparse-VAE의 경우 $ m = 200 $ 측정에서 성능 전이가 나타나, 표준 생성 모델 기반 복원보다 표적 도메인에 더 잘 적응하는 것으로 나타났다.
• 실증 결과는 이 프레임워크가 LASSO 및 표준 생성 모델 복원을 특수 케이스로 일반화함을 확인하며, 더 높은 강인성과 정확도를 보였다.
• 이론적 분석을 통해 Sparse-Gen 모델 하에서 최적의 디코더는 $ m \to n $ 일 때 복원 오차가 사라짐을 보여, 프레임워크의 표현력 있는 능력을 검증한다.