[논문 리뷰] NEMGAN: Noise Engineered Mode-matching GAN

Deepak Mishra, Prathosh AP외 3명|arXiv (Cornell University)|2018. 11. 08.

Speech and Audio Processing인용 수 1

한 줄 요약

NEMGAN은 최소한의 감독 하에 모드 사전을 학습함으로써 GAN에서 모드 탐색 및 분리에 정밀한 제어를 가능하게 하는 노이즈 설계된 잠재공간 분포를 제안한다. 잠재공간 역행망을 분산 손실과 함께 공동으로 훈련시켜, 거의 증가하지 않는 파rameter 오버헤드로 인해 다양한 실세계 데이터셋에서 모드 분리, 조건부 생성, 속성 탐색 분야에서 최고 성능을 달성한다.

ABSTRACT

Generative adversarial networks (GANs) have shown remarkable success in generation of unstructured data, such as, natural images. However, discovery and separation of modes in the generated space, essential for several tasks beyond naive data generation, is still a challenge. In this paper, we address the problem of imposing desired modal properties on the generated space using a latent distribution, engineered in accordance with the modal properties of the true data distribution. This is achieved by training a latent space inversion network in tandem with the generative network using a divergence loss. The latent space is made to follow a continuous multimodal distribution generated by reparameterization of a pair of continuous and discrete random variables. In addition, the modal priors of the latent distribution are learned to match with the true data distribution using minimal-supervision with negligible increment in number of learnable parameters. We validate our method on multiple tasks such as mode separation, conditional generation, and attribute discovery on multiple real world image datasets and demonstrate its efficacy over other state-of-the-art methods.

연구 동기 및 목표

• GAN의 생성된 데이터 공간에서 모드를 탐색하고 분리하는 데 도전하는 것. 이는 단순한 데이터 생성을 넘어서는 작업에 필수적이다.
• 진정한 데이터 분포의 모드 특성과 일치하도록 잠재공간 분포를 설계하여 생성 샘플의 모드 구조에 대한 제어를 가능하게 하는 것.
• 최소한의 감독과 최소한의 모델 파라미터 증가로 잠재공간에서 모드 사전을 학습하는 것.
• 잠재공간에서의 더 나은 모드 정렬을 통해 조건부 생성 및 속성 탐색과 같은 후행 작업의 성능을 향상시키는 것.

제안 방법

• 잠재공간 역행망이 분산 손실을 사용하여 생성기와 함께 훈련되어, 잠재공간이 진정한 데이터 분포의 모드 구조와 일치하도록 한다.
• 연속형 및 이산형 랜덤 변수의 쌍을 사용하여 잠재공간을 재구성하여 연속 다중모드 분포를 형성한다.
• 최소한의 감독을 통해 모드 사전을 학습하여 진정한 데이터 분포의 모드 특성과 일치시킨다.
• 다중모드 잠재공간 분포의 미분 가능 훈련을 가능하게 하기 위해 재구성 기법을 사용한다.
• 분산 손실을 통해 생성된 분포가 진정한 데이터 분포의 모드 구조와 일치하도록 보장한다.
• 정밀한 모드 제어를 가능하게 하면서도 학습 가능한 파라미터 수의 거의 증가 없이 모델을 유지한다.

실험 결과

연구 질문

• RQ1 잠재공간 설계를 통해 GAN이 생성 공간에서 별개의 데이터 모드를 명시적으로 분리하고 제어할 수 있는가?
• RQ2 최소한의 감독으로 잠재공간에서 모드 사전을 얼마나 효과적으로 학습하여 진정한 데이터 분포의 모드 구조와 일치시킬 수 있는가?
• RQ3 제안된 방법이 최신 GAN 기반 기법에 비해 모드 분리 및 속성 탐색에서 얼마나 향상되는가?
• RQ4 복잡하고 겹치는 모드를 포함한 다양한 실세계 이미지 데이터셋에 대해 일반화되며 낮은 파라미터 오버헤드를 유지할 수 있는가?

주요 결과

• NEMGAN은 다양한 실세계 이미지 데이터셋에서 모드 분리 성능이 최고 수준이다.
• 잠재공간에서 모드 구조를 명시적으로 제어함으로써 효과적인 조건부 생성이 가능해졌다.
• 잠재공간에서 모드 사전을 명시적으로 모델링함으로써 속성 탐색 성능이 크게 향상되었다.
• 학습 가능한 파라미터 수의 거의 증가 없이 이러한 결과를 달성하여 효율성을 유지했다.
• 분산 손실을 통한 잠재공간 역행망과 생성기의 공동 훈련으로 생성된 분포와 진정한 데이터 분포 간의 일치도가 향상되었다.
• 복잡하고 겹치는 모드를 포함한 다양한 이미지 데이터셋에서 강건성과 일반화 능력을 입증했다.