[논문 리뷰] DeLiGAN : Generative Adversarial Networks for Diverse and Limited Data

Swaminathan Gurumurthy, Ravi Kiran Sarvadevabhatla외 1명|ePrints-IISc. (Indian Institute of Science Bangalore)|2017. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 13

한 줄 요약

DeLiGAN은 낮은 데이터 환경에서 다양성과 안정성을 향상하기 위해 잠재 공간을 학습 가능한 가우시안 혼합 모델로 재구성하는 새로운 GAN 아키텍처를 제안한다. GAN과 함께 혼합 성분의 평균과 분산을 학습함으로써, 손글씨 숫자, 물체 사진, 수작 그림 등 다양한 데이터 유형에서 제한된 훈련 데이터로도 다양하고 고품질의 샘플을 생성한다. 이는 표준 GAN보다 다양성과 샘플 품질 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

A class of recent approaches for generating images, called Generative Adversarial Networks (GAN), have been used to generate impressively realistic images of objects, bedrooms, handwritten digits and a variety of other image modalities. However, typical GAN-based approaches require large amounts of training data to capture the diversity across the image modality. In this paper, we propose DeLiGAN -- a novel GAN-based architecture for diverse and limited training data scenarios. In our approach, we reparameterize the latent generative space as a mixture model and learn the mixture model's parameters along with those of GAN. This seemingly simple modification to the GAN framework is surprisingly effective and results in models which enable diversity in generated samples although trained with limited data. In our work, we show that DeLiGAN can generate images of handwritten digits, objects and hand-drawn sketches, all using limited amounts of data. To quantitatively characterize intra-class diversity of generated samples, we also introduce a modified version of "inception-score", a measure which has been found to correlate well with human assessment of generated samples.

연구 동기 및 목표

• 훈련 데이터가 제한적일 때 다양하고 고품질의 이미지를 생성하는 데 도전하는 것.
• 특히 다중 모달 분포를 가진 소규모 데이터셋에서 GAN의 샘플 다양성을 향상시키는 것.
• 잠재 공간을 혼합 모델로 모델링하여 낮은 데이터 환경에서 GAN 훈련의 안정성을 높이는 것.
• 이너클래스 다양성을 정량화하는 지표를 개발하여 인ception 점수를 확장하는 것.
• 최소한의 데이터로도 손글씨 숫자, 실제 물체 이미지, 수작 스케치 등 다양한 모odalities에서 효과적인 생성을 가능하게 하는 것.

제안 방법

• 잠재 공간을 학습 가능한 가우시안 성분의 혼합 모델로 재구성하고, 평균과 분산을 학습 가능하게 한다.
• 성분을 선택하고 해당 성분에서 샘플링하는 미분 가능한 샘플링 메커니즘을 도입하여 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 생성자와 판별자와 함께 혼합 모델의 파라미터(평균, 분산)를 적대적 손실을 사용하여 공동으로 훈련한다.
• 생성된 샘플들에 대해 클래스 조건부 엔트로피를 계산하여 클래스 간 다양성을 측정하는 수정된 인ception 점수를 사용한다.
• 기존 GAN 연구에서 유용한 것으로 알려진 미니배치 식별 및 기타 훈련 안정화 기법을 적용하여 훈련 동역학을 향상시킨다.
• 혼합 모델을 사용해 잠재 공간의 데이터 빈 공간(빈도가 낮은 영역)을 암묵적으로 모델링함으로써, 저품질 또는 대표성 없는 샘플의 생성을 방지한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 제한적일 때 잠재 공간에 학습 가능한 혼합 모델을 적용하면 GAN 생성 샘플의 다양성이 향상되는가?
• RQ2 DeLiGAN은 제한된 훈련 데이터로 다양한 이미지 모달리티에서 다양성을 갖춘 샘플을 얼마나 잘 생성하는가?
• RQ3 수정된 인ception 점수가 낮은 데이터 설정에서 특히 효과적으로 생성 샘플의 이너클래스 다양성을 정량화할 수 있는가?
• RQ4 잠재 공간에 존재하는 혼합 모델이 낮은 데이터 환경에서 훈련 안정성을 높이고 모드 붕괴를 줄이는 데 기여하는가?
• RQ5 데이터가 부족하거나 매우 다양할 경우 DeLiGAN은 표준 GAN보다 샘플 품질과 다양성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• MNIST에서 단지 100장의 훈련 이미지로도 DeLiGAN은 기준 GAN보다 훨씬 높은 샘플 다양성을 확보하여 다양한 숫자 스타일을 생성한다.
• CIFAR-10 데이터셋에서 1000장의 이미지로 훈련했을 때 DeLiGAN은 표준 GAN보다 더 현실적이며 다양한 물체 이미지를 생성하며, 모드 붕괴도 훨씬 적게 발생시킨다.
• 수작 스케치에 대해 DeLiGAN은 수정된 인ception 점수 1.79 ± 0.18을 기록하여 기준 GAN의 1.61 ± 0.13을 상회하며, 다섯 가지 상이한 카테고리에서 모두 뛰어난 성능을 보였다.
• 낮은 데이터 환경에서도 비디지털 또는 저품질 샘플의 생성을 크게 줄였고, 유령성 출력은 극히 드물게 발생했다.
• 학습된 잠재 공간의 혼합 성분은 자연스럽게 낮은 확률의 빈 공간을 피함으로써 더 일관되고 현실적인 샘플을 생성한다.
• 수정된 인ception 점수는 인간 평가와 잘 일치하며, 특히 낮은 데이터 환경에서 이너클래스 다양성을 효과적으로 캡처한다.