[논문 리뷰] MMD GAN: Towards Deeper Understanding of Moment Matching Network

Chunliang Li, Wei-Cheng Chang외 3명|arXiv (Cornell University)|2017. 05. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 255

한 줄 요약

MMD GAN은 적대적 커널 학습으로 Moment Matching Networks의 표현력을 강화하여 MNIST, CIFAR-10, CelebA, LSUN와 같은 벤치마크에서 GAN들과 경쟁력 있는 성능을 달성하면서 더 작은 배치 크기를 사용합니다.

ABSTRACT

Generative moment matching network (GMMN) is a deep generative model that differs from Generative Adversarial Network (GAN) by replacing the discriminator in GAN with a two-sample test based on kernel maximum mean discrepancy (MMD). Although some theoretical guarantees of MMD have been studied, the empirical performance of GMMN is still not as competitive as that of GAN on challenging and large benchmark datasets. The computational efficiency of GMMN is also less desirable in comparison with GAN, partially due to its requirement for a rather large batch size during the training. In this paper, we propose to improve both the model expressiveness of GMMN and its computational efficiency by introducing adversarial kernel learning techniques, as the replacement of a fixed Gaussian kernel in the original GMMN. The new approach combines the key ideas in both GMMN and GAN, hence we name it MMD GAN. The new distance measure in MMD GAN is a meaningful loss that enjoys the advantage of weak topology and can be optimized via gradient descent with relatively small batch sizes. In our evaluation on multiple benchmark datasets, including MNIST, CIFAR- 10, CelebA and LSUN, the performance of MMD-GAN significantly outperforms GMMN, and is competitive with other representative GAN works.

연구 동기 및 목표

• GMMN의 고정 Gaussian 커널을 적대적으로 학습된 커널로 대체하여 표현력과 효율성을 높인다.
• 커널 학습된 MMD 목표에 대한 연속성, 미분가능성, 약한 위상 수렴(weak* topology convergence)을 이론적으로 보장한다.
• 실현 가능한 최적화와 안정성 개선을 갖춘 실용적 학습 알고리즘(MMD GAN)을 개발한다.
• 표준 데이터셋에서 GMMN 대비 실험적 성능 개선과 최첨단 GAN들과의 경쟁력 있는 결과를 입증한다.

제안 방법

• f_phi에 의한 삽입적 특징 맵을 통해 커널 가족 위에서 최적화하여 MMD를 형식화하고, 최소화_θ 최대화_φ M_{k∘f_phi}(P_X, P_θ)로 도출한다.
• 테스트 파워를 높이기 위해 학습 가능한 특징 변환을 가진 RBF 커널의 혼합을 사용한다.
• 생성기 네트워크 g_θ와 삽입적 특징 맵/인코더 f_φ를 신경망으로 모델링하고, 가중치 클리핑이나 그래디언트 페널티를 이용해 리프시츠 제약이 있는 그래디언트 기반 최적화를 수행한다.
• f_phi의 가역성을 촉진하기 위한 자동인코더 목적어를 통해 규제하지만, 실험적으로 필요성에 대한 발견은 다름을 주지한다.
• 객체값을 변경하지 않으면서 커널 매개변수 공간을 제약해 학습 속도를 높이는 가용한 구간 축소를 제안한다.

실험 결과

연구 질문

• RQ1 MMD에서 adversarial하게 학습된 커널이 고정 커널보다 두 샘플 간 테스트 파워를 더 강하게 제공하여 생성 모델 훈련에 도움이 되는가?
• RQ2 삽입적 특징 맵에 대한 최대가 그래디언트 기반 훈련에 적합한 연속적이고 미분가능한 목표를 생성하는가?
• RQ3 MMD GAN은 표준 벤치마크에서 GMMN 및 대표 GAN들(WGAN 등)과 비교하여 샘플 품질과 다양성 면에서 어떠한가?
• RQ4 특히 배치 크기 측면에서 GMMN 및 WGAN에 비해 MMD GAN의 계산적 트레이드오프는 어떠한가?
• RQ5 실용적 학습을 위해 자동 인코더 기반 정규화가 필요한가?

주요 결과

Method	Scores ± std.
실 데이터	11.95 ± .20
DFM	7.72
ALI	5.34
향상된 GAN들	4.36
MMD GAN	6.17 ± .07
WGAN	5.88 ± .07
GMMN-C	3.94 ± .04
GMMN-D	3.47 ± .03

• 학습된 커널을 가진 MMD는 생성기 매개변수에 대해 연속적이고 미분가능한 목표를 제공하여 그래디언트 디센트 최적화를 가능하게 한다.
• max_phi M_{f_phi}(P_X, P_theta)는 학습이 진행될수록 분포상으로 P_X에 수렴한다(weak* 위상 특성).
• 적대적 커널을 가진 MMD GAN은 MNIST 및 CIFAR-10에서 GMMN보다 더 선명하고 다양하며, 여러 데이터셋에서 WGAN과 경쟁력 있다.
• MMD GAN은 GMMN에 비해 의미 있는 향상을 달성하면서도 훨씬 작은 배치 크기를 사용하여 학습 효율을 개선한다.
• CIFAR-10에 대한 Inception 점수는 MMD GAN이 GMMN 변형보다 높고 많은 GAN 베이스라인과 경쟁력이 있으나 DFM은 더 높은 점수를 보인다.
• WGAN과 MMD GAN 사이에는 연결점이 있다: 특정 커널/선형화에서 MMD GAN은 1차 모멘트 매칭과 정합되며, MMD는 가우시안 커널을 통해 고차 모멘트를 포착한다.