[논문 리뷰] GDPP: Learning Diverse Generations Using Determinantal Point Process

Mohamed Elfeki, Camille Couprie외 2명|arXiv (Cornell University)|2018. 11. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 8

한 줄 요약

이 논문은 생성 모델에서 모드 붕괴를 완화하기 위해 결정성 점 프로세스(DPP) 기반의 새로운 비지도 손실인 GDPP를 제안한다. 이는 생성 샘플 간의 다양성을 장려함으로써 이루어지며, 실제 데이터 배치와 생성된 데이터 배치의 DPP 커널 고유구조를 일치시킴으로써 구현된다. GDPP는 학습 가능한 파rameter를 추가하지 않으면서도 생성 품질과 수렴 안정성을 향상시키며, CIFAR-10, MNIST, CelebA에서 가장 가까운 경쟁자 대비 5.8배 빠른 훈련 속도를 달성한다.

ABSTRACT

Generative models have proven to be an outstanding tool for representing high-dimensional probability distributions and generating realistic-looking images. An essential characteristic of generative models is their ability to produce multi-modal outputs. However, while training, they are often susceptible to mode collapse, that is models are limited in mapping input noise to only a few modes of the true data distribution. In this work, we draw inspiration from Determinantal Point Process (DPP) to propose an unsupervised penalty loss that alleviates mode collapse while producing higher quality samples. DPP is an elegant probabilistic measure used to model negative correlations within a subset and hence quantify its diversity. We use DPP kernel to model the diversity in real data as well as in synthetic data. Then, we devise an objective term that encourages generators to synthesize data with similar diversity to real data. In contrast to previous state-of-the-art generative models that tend to use additional trainable parameters or complex training paradigms, our method does not change the original training scheme. Embedded in an adversarial training and variational autoencoder, our Generative DPP approach shows a consistent resistance to mode-collapse on a wide variety of synthetic data and natural image datasets including MNIST, CIFAR10, and CelebA, while outperforming state-of-the-art methods for data-efficiency, generation quality, and convergence-time whereas being 5.8x faster than its closest competitor.

연구 동기 및 목표

• 생성 모델에서 발생하는 일반적인 실패 유형인 생성기가 데이터의 제한된 변형만 생성하는 모드 붕괴 문제를 해결하기 위해.
• 기존 모델 아키텍처를 수정하지 않고도 생성 샘플 간의 다양성을 명시적으로 장려하는 훈련 목표를 개발하기 위해.
• 추가적인 학습 가능한 구성 요소나 복잡한 훈련 체계가 필요 없는 비지도 방식으로 작동하는 손실 함수를 설계하기 위해.
• 합성 및 실제 이미지 벤치마크를 포함한 다양한 데이터셋에서 훈련 안정성, 생성 품질, 데이터 효율성을 향상시키기 위해.
• 모델에 종속되지 않으며, GAN과 VAE와 같은 다양한 생성 프레임워크와 호환되는 방법을 확보하기 위해.

제안 방법

• 사전 훈련된 구분자나 인코더로부터 추출한 딥 특징을 사용해 실제 데이터 배치와 생성된 데이터 배치의 다양성을 표현하는 DPP 커널을 정의한다.
• 실제 데이터 배치와 생성된 데이터 배치의 DPP 커널에 대해 고유값과 고유벡터를 계산한다.
• 실제 데이터 DPP 커널과 생성된 데이터 DPP 커널의 고유값과 고유벡터 간의 차이를 최소화하는 페널티 손실을 제안한다.
• 기본적인 적대적 또는 VAE 훈련 목표에 이 DPP 기반의 다양성 손실을 추가 항목으로 통합한다.
• 생성기의 역전파 과정을 통해 DPP 손실을 전파함으로써, 생성기가 실제 데이터의 다양성 패턴을 갖는 샘플을 생성하도록 유도한다.
• 기본 모델의 원래 훈련 철학(예: DCGAN, VAE)을 유지하며, 추가적인 학습 가능한 파rameter나 최적화 동역학의 변경 없이 구현한다.

실험 결과

연구 질문

• RQ1 DPP 기반의 다양성 메트릭이 생성 모델을 정규화하고 모드 붕괴를 줄이는 데 효과적으로 활용될 수 있는가?
• RQ2 다양한 데이터셋에서 기존 방법과 비교해 제안된 GDPP 손실이 생성 품질과 훈련 안정성 면에서 어떤가?
• RQ3 추가적인 학습 가능한 구성 요소 없이도 GDPP 손실이 데이터 효율성과 수렴 속도를 향상시키는가?
• RQ4 DNN 아키텍처나 GAN, VAE와 같은 다양한 아키텍처에 대해 GDPP 손실이 아키텍처 수정 없이 일반화 가능한가?
• RQ5 실제 데이터와 생성된 데이터 간의 DPP 커널 고유구조를 일치시킬 경우, 모드 커버리지와 샘플 다양성이 얼마나 향상되는가?

주요 결과

• 64×64 해상도에서 CelebA에서 GDPP-GAN은 슬라이스드 워샤르스타인 거리(SWD) 평균 0.0163, 최소 0.0075를 기록하여 WGAN-GP(0.0186 평균)와 DCGAN(0.0906 평균)을 모두 능가한다.
• CIFAR-10에서 DCGAN에 GDPP를 추가하면 훈련이 안정화되고, 일관된 Inception Score 상승을 통해 초기 훈련 단계부터 고품질 생성이 가능해진다.
• 기본 모델 대비 낮은 재구성 오차(MSE)를 보이며, 모드 붕괴의 심각도가 감소했음을 입증한다. 이는 실제 이미지와 가장 가까운 생성된 이미지 간의 오차가 낮기 때문이다.
• 성능 향상 또는 유지와 함께, 가장 가까운 경쟁자 대비 5.8배 더 빠른 속도를 기록하며, 생성 품질과 모드 커버리지 면에서 우수한 성능을 유지한다.
• MNIST, CIFAR-10, CelebA 전반에서 일관되게 성능 향상을 보이며, 합성 및 실제 이미지 데이터셋 모두에 대해 강건함을 입증한다.
• GDPP 손실은 적대적 훈련과 VAE 프레임워크 양쪽 모두에서 효과적이며, 다양한 생성 모델 아키텍처에 걸쳐 강력한 일반화 성능을 보여준다.