[논문 리뷰] Generative Adversarial Mapping Networks

Jianbo Guo, Guangxiang Zhu외 1명|arXiv (Cornell University)|2017. 09. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 3

한 줄 요약

이 논문은 생성적 적대적 매핑 네트워크(GAMN)를 제안한다. 이는 생성적 적대적 네트워크(GAN) 기반의 새로운 생성 모델로, 특징 공간에서의 분포 매칭을 향상시키기 위해 적대적 매핑 네트워크 F를 도입함으로써 순간 매칭 네트워크를 개선한다. 생성자 G와 매핑 네트워크 F를 함께 훈련시켜 표현 공간에서 MMD를 최소화함으로써, CIFAR-10과 LSUN-Bedrooms에서 GMMN 및 GMMN+AE보다 뛰어난 샘플 품질을 달성하며, 배치 크기 요구 사항을 줄이고 훈련 안정성을 향상시킨다.

ABSTRACT

Generative Adversarial Networks (GANs) have shown impressive performance in generating photo-realistic images. They fit generative models by minimizing certain distance measure between the real image distribution and the generated data distribution. Several distance measures have been used, such as Jensen-Shannon divergence, $f$-divergence, and Wasserstein distance, and choosing an appropriate distance measure is very important for training the generative network. In this paper, we choose to use the maximum mean discrepancy (MMD) as the distance metric, which has several nice theoretical guarantees. In fact, generative moment matching network (GMMN) (Li, Swersky, and Zemel 2015) is such a generative model which contains only one generator network $G$ trained by directly minimizing MMD between the real and generated distributions. However, it fails to generate meaningful samples on challenging benchmark datasets, such as CIFAR-10 and LSUN. To improve on GMMN, we propose to add an extra network $F$, called mapper. $F$ maps both real data distribution and generated data distribution from the original data space to a feature representation space $\mathcal{R}$, and it is trained to maximize MMD between the two mapped distributions in $\mathcal{R}$, while the generator $G$ tries to minimize the MMD. We call the new model generative adversarial mapping networks (GAMNs). We demonstrate that the adversarial mapper $F$ can help $G$ to better capture the underlying data distribution. We also show that GAMN significantly outperforms GMMN, and is also superior to or comparable with other state-of-the-art GAN based methods on MNIST, CIFAR-10 and LSUN-Bedrooms datasets.

연구 동기 및 목표

• CIFAR-10 및 LSUN-Bedrooms와 같은 복잡한 데이터셋에서 생성적 순간 매칭 네트워크(GMMN)가 현실적인 샘플을 생성하지 못하는 문제를 해결하기 위해.
• GMMN 및 GMMN+AE가 요구하는 높은 배치 크기와 열악한 샘플 품질 문제를 해결하기 위해, 동적이고 적대적으로 훈련된 매핑 네트워크를 도입하기 위해.
• 최대 평균 차이(MMD)의 이론적 이점과 GAN의 적대적 훈련 프레임워크를 융합하여, 더 안정적이고 효과적인 분포 학습을 위해.
• 고정된 오토인코더나 복잡한 정규화 기법이 필요한 기존 MMD 기반 모델의 더 단순하면서도 더 강력한 대안을 개발하기 위해.
• 종합적으로 훈련된 매핑 네트워크가 생성자 성능을 상당히 향상시켜 고해상도 이미지를 생성하는 데 기여할 수 있음을 보여주기 위해.

제안 방법

• 생성자 G와 매핑 네트워크 F로 구성된 새로운 생성 모델인 GAMN을 도입하며, 이는 적대적으로 함께 훈련된다.
• 매핑 네트워크 F를 사용하여 실제 데이터와 생성된 샘플을 원래 데이터 공간에서 더 낮은 차원의 특징 표현 공간 R로 매핑한다.
• 생성자 G를 최적화하여 특징 공간 R에서 실제 데이터 분포와 생성된 데이터 분포 간의 최대 평균 차이(MMD)를 최소화한다.
• 매핑 네트워크 F를 최적화하여 특징 공간 R에서 실제 데이터 분포와 생성된 데이터 분포 간의 MMD를 최대화함으로써, 생성자에 대한 동적 적대자 역할을 수행한다.
• 커널 기반 MMD 추정기를 사용하여 매핑된 분포 간의 거리를 계산함으로써, 효율적이고 편향 없는 최적화를 가능하게 한다.
• 표준 backpropagation를 사용하여 생성자와 매핑 네트워크를 종단 간(end-to-end)으로 훈련하며, GMMN+AE에서 요구하는 사전 훈련이나 고정된 인코더가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 적대적으로 훈련된 매핑 네트워크는 순간 매칭 프레임워크 내에서 생성자의 분포 매칭 능력을 향상시킬 수 있는가?
• RQ2 생성자와 함께 동적으로 훈련된 매핑 네트워크는 GMMN+AE에서 사용하는 고정된 오토인코더보다 더 나은 샘플 품질을 제공하는가?
• RQ3 GAMN는 CIFAR-10 및 LSUN-Bedrooms와 같은 도전적인 벤치마크에서 최신 기준(SOTA) 성능을 달성하면서도 필요한 배치 크기를 줄일 수 있는가?
• RQ4 GAMN는 인ception 스코어와 샘플 충실도 측면에서 다른 MMD 기반 및 GAN 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 프레임워크는 고차원 데이터 환경에서 기존의 MMD 기반 생성 모델보다 더 안정적이고 확장 가능한가?

주요 결과

• GAMN는 CIFAR-10 및 LSUN-Bedrooms에서 GMMN 및 GMMN+AE보다 뛰어난 현실감 있는 이미지를 생성하여, 정성적으로도 우수한 성능을 보였다.
• CIFAR-10 데이터셋에서 GAMN는 인ception 스코어 6.44를 기록했으며, 최근에 제안된 적대적 커널 학습 방법의 6.24보다 略히 높았다.
• 특징 공간에서의 MMD 값은 훈련 중에 일관되게 감소했으며, 이는 인ception 스코어 상승과 함께 샘플 품질 향상과 상관관계가 있었다.
• GMMN 및 GMMN+AE가 최대 1000까지 필요한 배치 크기 대비, GAMN는 훈련에 필요한 배치 크기를 줄였다.
• 8개의 가우시안 혼합 및 스위스롤 토이 데이터셋에서, GAMN는 WGAN 및 개선된 WGAN보다 더 정확하게 원래 데이터 분포를 학습했다.
• 적대적 매핑 네트워크 F는 생성자가 복잡한 데이터 구조를 더 잘 포착할 수 있도록 도와주며, 추가 정규화나 고정된 인코더 없이도 더 다양하고 현실적인 샘플을 생성할 수 있었다.