[논문 리뷰] Generative Multi-Adversarial Networks

Ishan Durugkar, Ian Gemp외 1명|arXiv (Cornell University)|2016. 11. 05.

Generative Adversarial Networks and Image Synthesis인용 수 56

한 줄 요약

이 논문은 다수의 판별기(discriminators)를 활용하여 훈련을 안정화하고 가속화하는 Generative Multi-Adversarial Networks(GMAN) 프레임워크를 소개한다. 서로 다른, 상관성이 낮은 판별기를 사용함으로써 GMAN은 원래의 minimax 목적함수를 그대로 유지하면서도 신뢰할 수 있는 훈련을 가능하게 하여, 표준 GAN보다 더 적은 반복 횟수 내에 고품질의 이미지 생성을 달성한다. 이는 새로운 이변수 평가 지표(GMAM)를 통해 검증되었다.

ABSTRACT

Generative adversarial networks (GANs) are a framework for producing a generative model by way of a two-player minimax game. In this paper, we propose the \emph{Generative Multi-Adversarial Network} (GMAN), a framework that extends GANs to multiple discriminators. In previous work, the successful training of GANs requires modifying the minimax objective to accelerate training early on. In contrast, GMAN can be reliably trained with the original, untampered objective. We explore a number of design perspectives with the discriminator role ranging from formidable adversary to forgiving teacher. Image generation tasks comparing the proposed framework to standard GANs demonstrate GMAN produces higher quality samples in a fraction of the iterations when measured by a pairwise GAM-type metric.

연구 동기 및 목표

• 표준 GAN에서 흔히 발생하는 훈련 불안정성 문제를 해결하기 위해, minimax 목적함수에 히우리스틱 수정을 가하지 않고도 안정적인 훈련을 가능하게 하는 것.
• 원래의 그대로의 minimax 목적함수를 사용할 수 있도록 다수의 판별기를 활용하는 프레임워크를 개발하는 것.
• 독립적으로 훈련된 생성 모델 간을 비교하기 위한 새로운 이변수 평가 지표(GMAM)를 제안하는 것.
• 다수의 판별기가 생성기 성능 향상에 기여하는 강력한 적대자이자 유연한 지도자로 작용할 수 있음을 보여주는 것.

제안 방법

• 다양한 아키텍처와 드롭아웃 비율을 가진 다수의 판별기를 병렬로 훈련하는 GAN의 다수 판별기 확장인 GMAN을 제안한다.
• 판별기 출력의 소프트맥스 집합을 사용하여 생성기 훈련을 동적으로 조절하는 변형인 GMAN∗를 도입한다.
• 보조 변수 Λ와 로그시그모이드 변환을 통해 비제약 최소최대 형식을 도입하여 엔드 투 엔드 최적화를 가능하게 한다.
• 생성기 및 판별기 네트워크에 배치 정규화와 ReLU/Tanh 활성화 함수를 사용하며, 특징 학습을 위해 스트라이드 컨벌루션과 트랜스포지드 컨벌루션을 적용한다.
• 모르거나 음수인 마진을 가진 약한 학습기(판별기)를 AdaBoost.OL을 사용해 조합함으로써 강건성을 향상시킨다.
• 판별기 간의 기울기 상관성을 줄이고 다양성을 향상시키기 위해 미니배치를 분할하여 판별기에 할당하는 훈련 전략을 구현한다.

실험 결과

연구 질문

• RQ1 히우리스틱 수정 없이 minimax 목적함수를 그대로 유지하면서도 다수의 판별기가 GAN 훈련을 안정화시킬 수 있는가?
• RQ2 판별기의 역할(적대자에서 지도자로의 변화)이 생성기 성능에 미치는 영향은 어떠한가?
• RQ3 다수의 판별기를 활용하는 프레임워크가 표준 GAN보다 더 적은 반복 횟수 내에 더 높은 품질의 샘플을 생성할 수 있는가?
• RQ4 독립적으로 훈련된 생성 모델을 평가하기 위한 강건한 이변수 평가 지표가 존재하는가?
• RQ5 판별기 출력의 소프트맥스 집합이 생성기 훈련을 자동으로 적응적으로 조절할 수 있는가?

주요 결과

• GMAN은 히우리스틱 수정 없이도 원래의 minimax 목적함수를 사용하여 표준 GAN보다 더 높은 품질의 이미지 샘플을 생성한다.
• GMAN∗는 훈련 시간을 크게 단축시켜 표준 GAN이 요구하는 반복 횟수의 일부분으로도 더 높은 성능에 도달한다.
• 제안된 GMAM 지표는 독립적으로 훈련된 모델 간의 이변수 성능 차이를 성공적으로 정량화한다.
• 다양한 아키텍처와 드롭아웃 비율을 가진 판별기를 사용함으로써 일반화 능력과 샘플 품질이 향상된다.
• GMAN∗의 소프트맥스 집합은 자동으로 적응적인 훈련 조절을 가능하게 하여 수렴성과 샘플 충실도를 향상시킨다.
• MNIST, CelebA, CIFAR-10에서의 실험 결과, 모든 벤치마크에서 샘플 품질과 훈련 안정성 향상이 일관되게 관찰되었다.