[논문 리뷰] Task-Aware Compressed Sensing with Generative Adversarial Networks

Maya Kabkab, Pouya Samangouei외 1명|arXiv (Cornell University)|2018. 02. 05.

Sparse and Compressive Sensing Techniques인용 수 24

한 줄 요약

이 논문은 압축 측정 복원을 위해 특별히 훈련된 GAN을 사용하여 재구성과 추론을 공동 최적화하는 작업 인식형 생성 적대적 네트워크(CSGAN)를 제안한다. 비압축 데이터가 최소한일지라도 최신 기술 수준의 재구성 성능를 달성하며, 매우 적은 측정값 조차도 후행 분류 작업을 위한 분류 가능한 잠재 공간을 가능하게 한다.

ABSTRACT

In recent years, neural network approaches have been widely adopted for machine learning tasks, with applications in computer vision. More recently, unsupervised generative models based on neural networks have been successfully applied to model data distributions via low-dimensional latent spaces. In this paper, we use Generative Adversarial Networks (GANs) to impose structure in compressed sensing problems, replacing the usual sparsity constraint. We propose to train the GANs in a task-aware fashion, specifically for reconstruction tasks. We also show that it is possible to train our model without using any (or much) non-compressed data. Finally, we show that the latent space of the GAN carries discriminative information and can further be regularized to generate input features for general inference tasks. We demonstrate the effectiveness of our method on a variety of reconstruction and classification problems.

연구 동기 및 목표

• 압축 측정에서 신호를 복원하기 위해 특별히 최적화된 방식으로 GAN을 훈련시켜 압축 측정에서의 재구성 성능를 향상시키는 것.
• 비압축 데이터가 없거나 극히 적을 경우에도 압축 측정만을 사용하여 GAN을 효과적으로 훈련시켜 전체 해상도 훈련 데이터에 대한 의존도를 줄이는 것.
• 후행 추론 작업(예: 분류)을 위한 분류 가능한 정보를 담고 있는 잠재 공간을 정규화하는 것.
• 잠재 코드를 전체 신호 복원이 필요 없이 재구성과 일반적인 추론 양자 모두에 사용할 수 있도록 하는 것.

제안 방법

• 생성자(G)가 데이터 분포를 모델링하는 것 외에도 압축 측정에서 신호를 재구성하도록 최적화되는 종단간, 작업 인식형 방식으로 GAN을 훈련하는 것.
• 비압축 데이터가 희박하거나 이용 불가능한 경우에도 훈련이 가능하도록 압축 데이터 전용의 두 번째 판별자 도입.
• 유사한 클래스가 가까운 잠재 표현을 가지도록 유도하기 위해 대조 손실을 사용하여 잠재 공간을 정규화하는 것.
• 재구성을 위해 min_z ||A G(z) - y||² 를 풀이, 여기서 G(z)는 생성자 출력이고 y는 압축 측정 벡터이다.
• 후행 추론 작업을 위해 분류기(예: LeNet)에 학습된 잠재 코드 z 를 입력으로 사용하는 것.
• 재구성 손실과 대조 분류 손실을 조합한 하이브리드 손실을 사용하여 GAN과 분류기를 함께 훈련하는 것.

실험 결과

연구 질문

• RQ1 사전 훈련된 GAN과 비교해 복원 성능가지 작업 인식형으로 GAN을 훈련시키는 것이 압축 측정에서의 재구성 성능 향상에 기여하는가?
• RQ2 비압축 데이터에 접근할 수 없을 경우에도 압축 측정만으로 GAN을 효과적으로 훈련시킬 수 있는가?
• RQ3 작업 인식형 GAN의 잠재 공간을 정규화하여 분류와 같은 분류 가능한 추론 작업을 지원할 수 있는가?
• RQ4 분류를 위한 대조 손실 추가가 재구성 품질을 떨어뜨리는가?

주요 결과

• CSGAN은 [Bora 등, 2017]의 기준 방법보다 압축 측정 수가 적을 경우(예: m = 8)에 유의미하게 낮은 재구성 오차를 기록한다.
• 비압축 이미지 10장과 나머지 압축 이미지만을 사용하여도, CSGAN은 F-MNIST에서 50-NN 분류기로 39.37%의 분류 정확도를 달성하며, DCGAN의 30.19%를 초월한다.
• m = 200일 때 대조 손실 추가로 MNIST에서 분류 정확도를 38.14%에서 64.56%로 향상시키며, 동시에 낮은 재구성 오차(1px당 MSE 0.0179)를 유지한다.
• 간단한 50-NN 분류기조차도 CSGAN의 잠재 공간이 DCGAN보다 같은 클래스의 샘플을 더 가깝게 군집화하고 있음을 보여, 효과적인 분리가 이루어졌음을 확인한다.
• 400개의 측정값을 사용할 경우 MNIST의 픽셀 단위 평균 제곱 오차가 0.0169로 감소하여, 대조 정규화가 재구성 품질에 해를 끼치지 않는다는 것을 보여준다.
• CelebA에 대한 정성적 결과는 CSGAN이 낮은 m에서도 압축 측정에서 현실적이고 고해상도의 재구성 결과를 생성함을 보여준다.