[논문 리뷰] Mixed batches and symmetric discriminators for GAN training

Thomas W. Lucas, Corentin Tallec외 2명|arXiv (Cornell University)|2018. 06. 19.

Generative Adversarial Networks and Image Synthesis인용 수 25

한 줄 요약

이 논문은 모드 붕괴를 막기 위해 혼합 배치와 대칭 판별기 기반의 새로운 GAN 훈련 방법을 제안한다. 배치 내 진짜 샘플과 가짜 샘플의 비율을 예측하도록 판별기를 훈련하고, 수정된 아키텍처를 통해 순열 불변성을 강제함으로써 판별기가 전반적인 분포 통계량에 접근할 수 있도록 한다. 이로 인해 CIFAR10과 CelebA에서 모드 커버리지와 생성 품질이 크게 향상되었으며, 상태수준의 Inception Score(7.49)와 Fréchet Inception Distance(23.71)를 달성하였다.

ABSTRACT

Generative adversarial networks (GANs) are pow- erful generative models based on providing feed- back to a generative network via a discriminator network. However, the discriminator usually as- sesses individual samples. This prevents the dis- criminator from accessing global distributional statistics of generated samples, and often leads to mode dropping: the generator models only part of the target distribution. We propose to feed the discriminator with mixed batches of true and fake samples, and train it to predict the ratio of true samples in the batch. The latter score does not depend on the order of samples in a batch. Rather than learning this invariance, we introduce a generic permutation-invariant discriminator ar- chitecture. This architecture is provably a uni- versal approximator of all symmetric functions. Experimentally, our approach reduces mode col- lapse in GANs on two synthetic datasets, and obtains good results on the CIFAR10 and CelebA datasets, both qualitatively and quantitatively.

연구 동기 및 목표

• 생성 샘플의 전반적인 분포 통계량에 접근할 수 있도록 판별기를 설계하여 GAN의 모드 붕괴 문제를 해결한다.
• 기존 GAN의 한계를 극복하기 위해 개별 샘플을 구분하는 방식이 목표 분포의 누락된 모드를 감지하지 못한다는 점을 해결한다.
• 배치 내 샘플 순서에 영향을 받지 않는 판별기 아키텍처를 설계하여 배치의 대칭 함수를 학습하도록 보장한다.
• 혼합 배치 훈련과 대칭 판별기를 통해 정성적 및 정량적 GAN 성능 향상 여부를 실증적으로 검증한다.

제안 방법

• 진짜와 생성된 샘플이 혼합된 배치에서 판별기를 훈련시키며, 목표는 배치 내 진짜 샘플의 비율을 예측하는 것이다.
• McGregor(2007)의 수정된 버전을 기반으로 한 순열 불변 판별기 아키텍처를 도입하여, 모든 대칭 연속 함수를 보편적으로 근사할 수 있음을 입증한다.
• 기존 GAN 아키텍처에 최소한의 수정을 가해 순열 불변성을 확보하며, 배치 요소들에 대해 대칭 집계 레이어를 사용한다.
• 배치 스무딩을 도입하여 하이퍼파rameter γ를 통해 배치의 순도를 제어함으로써 훈련 안정성과 모드 커버리지 사이의 트레이드오���을 가능하게 한다.
• 표준 GAN 훈련 루프를 적용하며, 생성자와 판별기를 번갈아가며 업데이트하고, 판별기는 비율 예측 손실을 최소화하도록 훈련한다.
• 기본 GAN 프레임워크인 BGAN과 M-BGAN에 대칭 판별기를 통합하여, 가능한 한 모델 아키텍처와 하이퍼파rameter를 유지한다.

실험 결과

연구 질문

• RQ1 진짜와 가짜 샘플이 혼합된 배치에서 훈련하는 것이 순수한 배치 대비 모드 커버리지 향상에 기여하는가?
• RQ2 순열 불변 판별기 아키텍처가 배치의 모든 대칭 함수를 보편적으로 근사할 수 있는가? 이를 통해 전반적인 분포 통계량에 접근할 수 있는가?
• RQ3 제안된 대칭 판별기 아키텍처는 합성 및 실세계 데이터셋에서 GAN의 모드 붕괴를 줄이는가?
• RQ4 배치 스무딩 하이퍼파rameter γ는 훈련 동역학과 모델 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 아키텍처의 대대적인 개편 없이도 CIFAR10과 CelebA에서 최신 기준의 Inception Score와 Fréchet Inception Distance를 달성할 수 있는가?

주요 결과

• 혼합 배치와 대칭 판별기를 적용한 제안된 방법은 CIFAR10에서 Inception Score 7.49 ± 0.06과 Fréchet Inception Distance 23.71을 기록하여 표준 GAN을 초월하고 최신 기술 수준의 성능을 달성하였다.
• 합성 다중모드 데이터셋에서 이 방법은 다수의 모드를 성공적으로 학습하였고, 순수한 배치로 훈련된 표준 GAN은 모드 손실로 인해 빠르게 발산하였다.
• 대칭 판별기 아키텍처는 모든 대칭 연속 함수를 보편적으로 근사할 수 있음을 증명하여 전반적인 배치 통계량이 유지됨을 보장한다.
• γ = 0.5로 설정한 배치 스무딩은 훈련 안정성과 성능을 향상시키며, 높은 γ 값은 생성자에게 유리하고 낮은 γ 값은 판별자에게 유리하다.
• CelebA에서의 정성적 결과는 혼합 배치와 대칭 판별을 사용할 경우 샘플 품질과 다양성이 향상되었음을 보여준다.
• 이 방법은 배치 구분 기법(Salimans et al., 2016)과 표준 GAN보다 Inception Score와 FID 모두에서 뛰어난 성능을 보이며, 다양한 지표에서 일관된 향상을 입증하였다.