[논문 리뷰] Deep Compressed Sensing

Yan Wu, Mihaela Rosca외 1명|arXiv (Cornell University)|2019. 05. 16.

Sparse and Compressive Sensing Techniques인용 수 58

한 줄 요약

본 논문은 Deep Compressed Sensing (DCS)를 제안하고, 측정 및 재구성 네트워크를 메타러닝으로 엔드-투-엔드로 학습하여 기존 CS 방법보다 속도와 정확도를 향상시키고 학습된 측정 목표를 통해 GAN 변형을 가능하게 한다.

ABSTRACT

Compressed sensing (CS) provides an elegant framework for recovering sparse signals from compressed measurements. For example, CS can exploit the structure of natural images and recover an image from only a few random measurements. CS is flexible and data efficient, but its application has been restricted by the strong assumption of sparsity and costly reconstruction process. A recent approach that combines CS with neural network generators has removed the constraint of sparsity, but reconstruction remains slow. Here we propose a novel framework that significantly improves both the performance and speed of signal recovery by jointly training a generator and the optimisation process for reconstruction via meta-learning. We explore training the measurements with different objectives, and derive a family of models based on minimising measurement errors. We show that Generative Adversarial Nets (GANs) can be viewed as a special case in this family of models. Borrowing insights from the CS perspective, we develop a novel way of improving GANs using gradient information from the discriminator.

연구 동기 및 목표

• 전통적인 압축 센싱의 한계(희소성 가정 및 느린 재구성)를 동기 부여한다.
• CS 내에서 측정 함수와 신경망 생성기를 함께 학습시키는 프레임워크를 개발하여 재구성 속도와 정확도를 향상시킨다.
• 메타러닝이 재구성의 잠재 공간 최적화를 가속화하는 방법을 보여준다.
• 학습된 측정 및 판별기/분류기 지침을 사용하여 CS-GAN과 CS-SGAN을 포함한 모델 계열을 유도하고 평가한다.

제안 방법

• 생성기 G_theta와 재구성 잠재 공간 최적화 프로세스를 함께 학습시키는 방식으로 Deep Compressed Sensing (DCS)을 형식화한다.
• 측정 손실 L_F를 통해 거리 보존 특성(RIP 유사)을 강제하여 F_phi를 학습하고/또는 F_phi를 신경망으로 학습한다.
• 잠재 공간 최적화를 역전파하는 것을 통해 필요한 그래디언트 단계 수를 줄이는 모델-불가지성 메타러닝(MAML 스타일)을 도입한다.
• 측정 손실을 판별자 지향 목표로 대체하여 잠재 공간 최적화를 GAN 학습과 연결하는 CS-GAN을 도출한다.
• 다중 클래스 분류기를 사용하여 측정에서 클래스 정보를 보존하는 방식으로 CS-SGAN으로 확장하여 준지도 학습 GAN 동작을 가능하게 한다.
• 고정 측정 함수 또는 학습된 측정 함수 각각에 대해 학습 알고리즘(Algorithm 1 및 Algorithm 2)을 제공한다.

실험 결과

연구 질문

• RQ1 잠재 공간 최적화 프로세스의 메타러닝이 표준 경사하강법과 비교하여 Deep Compressed Sensing에서 재구성을 가속화하는가?
• RQ2 학습 가능한 측정을 통한 RIP 유사 속성 강제가 무작위 측정보다 재구성 품질을 개선하는가, 그리고 어떤 조건에서 그런가?
• RQ3 판별자에 의해 가이드되는 잠재 최적화가 vanilla GAN에 비해 GAN 학습 안정성 및 샘플 품질을 향상시키는가?
• RQ4 DCS 프레임워크를 semi-supervised GAN으로 확장하여 의미상 의미 있는 잠재 공간을 생성할 수 있는가?
• RQ5 학습된 측정 함수가 MNIST 및 CelebA와 같은 이미지 데이터에 대한 재구성 및 GAN 성능에 미치는 영향은 무엇인가?

주요 결과

• DCS는 재시작 없이 훨씬 적은 잠재 최적화 단계(3단계)로 Bora et al. 기준선 대비 재구성 성능을 크게 향상시킨다.
• 최적화된 학습 가능한 측정 함수가 무작위 프로젝션보다 우수한 성능을 보이며, 신경망 측정 모델은 특히 이미지와 같은 구조화된 데이터에 대해 결과를 더 향상시킬 수 있다.
• CS-GAN에서의 잠재 최적화는 GAN 지표(IS, FID)를 개선하고 모드 붕괴를 vanilla GAN보다 더 효과적으로 피하며, 다양한 하이퍼파라미터 범위에서 개선이 지속된다.
• 잠재 최적화를 이용한 CS-GAN은 강력한 기준선(SN-GAN)을 능가할 수 있으며 스펙트럴 정규화 및 더 큰 아키텍처와 결합하면 경쟁력 있는 결과를 얻는다.
• CS-SGAN은 잠재 최적화가 의미상 구조화된 잠재 공간을 만들어 생성 샘플에서 클래스 구분이 더 명확해진다는 것을 보여준다(예: MNIST 숫자).
• 본 논문은 GAN이 DCS 패러다임 내에서 특정 속성(유효성 보존 또는 클래스 보존)을 보존하는 측정의 특수한 경우로 나타나는 통합 프레임워크를 제공한다.