[논문 리뷰] MMGAN: Manifold Matching Generative Adversarial Network

Noseong Park, Ankesh Anand외 6명|arXiv (Cornell University)|2017. 07. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 4

한 줄 요약

이 논문은 커널 임bedded 공간에서 실제 이미지 특징과 생성된 이미지 특징의 다양체를 매칭함으로써 훈련 안정성과 생성 샘플 품질을 향상시키는 새로운 GAN 프레임워크인 MMGAN을 제안한다. 이동 평균 구면 다양체와 상관계수 기반 정규화 기법을 사용함으로써 모드 붕괴를 감소시키고, CIFAR-10에서 상태최저 수준의 inception 점수 7.8을 달성하였다. 사용자 연구에서는 생성된 이미지 중 32.4%가 가짜로 잘못 분류되었으며, 이는 이전 모델 대비 16% 향상된 성능이다.

ABSTRACT

It is well-known that GANs are difficult to train, and several different techniques have been proposed in order to stabilize their training. In this paper, we propose a novel training method called manifold-matching, and a new GAN model called manifold-matching GAN (MMGAN). MMGAN finds two manifolds representing the vector representations of real and fake images. If these two manifolds match, it means that real and fake images are statistically identical. To assist the manifold-matching task, we also use i) kernel tricks to find better manifold structures, ii) moving-averaged manifolds across mini-batches, and iii) a regularizer based on correlation matrix to suppress mode collapse. We conduct in-depth experiments with three image datasets and compare with several state-of-the-art GAN models. 32.4% of images generated by the proposed MMGAN are recognized as fake images during our user study (16% enhancement compared to other state-of-the-art model). MMGAN achieved an unsupervised inception score of 7.8 for CIFAR-10.

연구 동기 및 목표

• 실제와 생성된 이미지 특징의 다양체를 커널 임베딩 공간에서 매칭함으로써 GAN 훈련의 불안정성과 모드 붕괴 문제를 해결하기 위한 새로운 훈련 목표를 제안한다.
• 고차원 커널 공간에서 생성된 특징의 다양체가 실제 데이터의 다양체와 유사하도록 보장함으로써 생성 이미지의 품질과 다양성을 향상시킨다.
• 소규모 배치 간 이동 평균 다양체를 사용하여 국소 최적화 난관을 피하고 훈련을 안정화시킨다.
• 생성된 특징의 상관계수 행렬 기반 신규 정규화 항을 도입하여 모드 붕괴를 억제한다.
• DCGAN 및 IGAN과 같은 최신 GAN 모델들과 비교하여 표준 벤치마크(MNIST, CelebA, CIFAR-10)에서 뛰어난 성능을 입증한다.

제안 방법

• 판별기의 마지막 레이어에서 추출한 실제 및 생성된 이미지 특징 표현의 구면 다양체를 매칭하는 다양체 매칭 손실 함수를 제안한다.
• 특징을 고차원 공간으로 암시적으로 매핑하기 위해 커널 기법(RBF 및 지수 커널)을 사용하여 다양체 구조를 더 신뢰성 있게 포착한다.
• 소규모 배치 간 지수 가중 이동 평균을 적용하여 실제 및 생성 데이터 다양체의 안정적인 중심점과 반경을 추정한다.
• 생성된 특징 간 높은 상관관계를 방지하기 위해 상관계수 기반 정규화 항을 도입하여 다양성을 증진하고 모드 붕괴를 억제한다.
• DCGAN 및 IGAN 아키텍처에 다양체 매칭 손실를 통합하여 원래의 손실 함수를 대체하면서도 네트워크 구조는 유지한다.
• 커널화된 다양체 매칭 목표를 사용하여 생성기의 실제 및 가짜 특징 다양체 추정치 간 거리를 최소화하도록 훈련한다.

실험 결과

연구 질문

• RQ1 커널 임베딩 공간에서 실제 및 생성된 이미지 특징의 다양체를 매칭함으로써 GAN 훈련의 안정성과 샘플 품질을 향상시킬 수 있는가?
• RQ2 소규모 배치 간 이동 평균 다양체를 사용하면 국소 소규모 배치 매칭보다 더 강력하고 일관성 있는 다양체 추정이 가능한가?
• RQ3 상관계수 기반 정규화 항이 생성 샘플의 다양성을 증진시켜 모드 붕괴를 효과적으로 억제할 수 있는가?
• RQ4 기본적인 GAN 목표함수와 비교해 볼 때 제안된 다양체 매칭 손실은 표준 데이터셋에서 inception 점수와 인간 평가 측면에서 어떻게 성능을 내는가?
• RQ5 다양체 매칭은 MNIST, CelebA, CIFAR-10와 같은 다양한 데이터셋에서 일반화 능력과 현실감 있는 이미지 생성을 얼마나 향상시키는가?

주요 결과

• MMGAN은 CIFAR-10에서 비지도 inception 점수 7.8을 기록하여 DCGAN(6.8) 및 IGAN(6.86)을 모두 초월하며, 최신 기술 수준을 확립하였다.
• 사용자 연구에서 MMGAN이 생성한 이미지 중 32.4%가 가짜로 잘못 분류되었으며, 이는 다음으로 우수한 모델인 DCGAN(38.2%) 대비 16% 향상된 현실감 인식 성능을 보였다.
• 제안된 상관계수 기반 정규화 항은 다양성 향상에 크게 기여하였으며, 이 항이 없을 경우 MMGAN의 성능이 DCGAN보다 열 劣함을 보여, 모드 붕괴 방지에 핵심적인 역할을 함을 시사한다.
• MNIST에서는 MMGAN이 가짜 이미지 식별률을 DCGAN의 38.2%에서 32.4%로 낮추어, 실제 이미지 기준 14%의 높은 기반선을 고려할 때도 시각적 현실감 향상을 보였다.
• CelebA에서는 DCGAN과 MMGAN 모두 자주 가짜로 식별되었지만, MMGAN은 사용자 인식에서 DCGAN 대비 약간이지만 일관된 향상을 보였다.
• RBF 및 지수 커널을 사용한 커널 기법은 더 신뢰할 수 있는 다양체 추정을 가능하게 하였으며, 대부분의 설정에서 RBF 커널이 지수 커널보다 더 우수한 성능을 보였다.