[논문 리뷰] MMGAN: Manifold Matching Generative Adversarial Network for Generating Images.

Noseong Park, Ankesh Anand외 6명|arXiv (Cornell University)|2017. 07. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 3

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN) 훈련을 향상시키기 위해 실사 이미지 및 생성 이미지 특징의 다양체를 판별기의 마지막 레이어에서 매칭하는 새로운 GAN 훈련 방법인 MMGAN을 제안한다. 커널 기법을 활용하여 다양체 정렬을 향상시킴으로써, 다양한 데이터셋과 최신 GAN 아키텍처에서 뛰어난 성능을 달성하며, 더 안정적인 훈련과 고해상도 이미지 생성을 보여준다.

ABSTRACT

Generative adversarial networks (GANs) are considered as a totally different type of generative models. However, it is well known that GANs are very hard to train. There have been proposed many different techniques in order to stabilize their training procedures. In this paper, we propose a novel training method called manifold matching and a new GAN model called manifold matching GAN (MMGAN). In MMGAN, vector representations extracted from the last layer of the discriminator are used to train the generator. It finds two manifolds representing vector representations of real and fake images. If these two manifolds are matched, it means that real and fake images are identical in the perspective of the discriminator because the manifolds are constructed from the discriminator's last layer. In general, it is much easier to train the discriminator and it becomes more accurate as epoch goes by. This implies that the manifold matching also becomes very accurate as the discriminator is trained. We also use the kernel trick to find better manifolds. We conduct in-depth experiments with three image datasets and several state-of-the-art GAN models. Our experiments demonstrate the efficacy of the proposed MMGAN model.

연구 동기 및 목표

• GAN 훈련의 본질적 불안정성과 난이도를 해결하기 위해, 이는 종종 모드 붕괴와 수렴 불량을 초래한다.
• 판별기가 학습한 특징 표현을 감독 신호로 활용하여 생성기 훈련을 향상시키기 위해.
• 판별기의 마지막 레이어에서 실사 이미지와 가짜 이미지의 다양체를 정렬하여 생성된 이미지가 실사 이미지와 구별되지 않도록 보장하기 위해.
• 점점 정확해지는 판별기를 활용하여 훈련 중 다양체 매칭 정확도를 향상시키기 위해.
• 다양한 이미지 데이터셋에서 커널 기반 다양체 매칭의 효과를 평가하여 GAN 성능 향상 여부를 확인하기 위해.

제안 방법

• 방법은 판별기의 마지막 레이어에서 유도된 벡터 표현을 실사 및 가짜 이미지의 특징 임bedding으로 사용한다.
• 이 임베딩 기반으로 실사 이미지로부터 하나의 다양체와 가짜(생성된) 이미지로부터 다른 하나의 다양체를 구성한다.
• 잠재 공간에서 두 다양체 간의 거리를 최소화함으로써 다양체 매칭을 수행하여, 생성기가 실사 데이터와 같은 다양체 위에 위치한 샘플을 생성하도록 유도한다.
• 특징 공간을 고차원의 재생핵 힐버트 공간으로 매핑하기 위해 커널 기법을 적용하여 더 효과적인 다양체 정렬을 가능하게 한다.
• 생성기는 판별기의 진화하는 특징 공간을 감독 신호로 사용하여, 가짜 이미지 다양체가 실사 이미지 다양체와 일치하도록 유도하는 손실을 통해 훈련된다.
• 훈련 과정은 판별기와 생성기의 갱신을 번갈아가며 수행되며, 생성기는 판별기의 마지막 레이어에서 유도된 다양체 매칭 손실에 의해 안내된다.

실험 결과

연구 질문

• RQ1 판별기의 마지막 레이어에서 실사 및 가짜 이미지 특징의 다양체를 정렬함으로써 GAN 훈련의 안정성과 이미지 품질을 향상시킬 수 있는가?
• RQ2 커널 기법의 사용이 GAN 내 다양체 매칭 성능을 어떻게 향상시키는가?
• RQ3 판별기가 학습한 특징 공간을 감독 신호로 활용할 경우, 기존 GAN 목표함수에 비해 생성기 최적화가 더 향상되는가?
• RQ4 MMGAN은 다양한 데이터셋과 다양한 최신 GAN 아키텍처에서 어떻게 성능을 발휘하는가?
• RQ5 다양체 매칭은 모드 붕괴를 줄이고 생성 이미지의 다양성을 향상시키는가?

주요 결과

• MMGAN은 기준선 GAN 모델에 비해 더 안정적인 훈련 역학을 달성하여 모드 붕괴 위험을 감소시킨다.
• 커널 기반 다양체 매칭의 사용으로 실사 및 가짜 이미지 특징 다양체 간의 정렬이 향상되어 고해상도 이미지 생성이 향상된다.
• 세 개의 이미지 데이터셋에서 수행된 실험을 통해 MMGAN은 다양한 평가 지표에서 일관되게 이미지 품질을 향상시킨다.
• 점점 정확해지는 판별기 특징 표현을 활용하여 생성기 성능을 향상시킨다.
• 시각적 품질과 정량적 지표 모두에서 몇몇 최신 GAN 모델을 능가하며, 그 유효성을 확인한다.
• 다양체 매칭 손실은 질적 및 정량적 분석을 통해 생성기가 실사 이미지와 구별되지 않는 샘플을 더 잘 생성하도록 효과적으로 안내한다.