[논문 리뷰] PeerGAN: Generative Adversarial Networks with a Competing Peer Discriminator

Jiaheng Wei, Minghao Liu외 4명|arXiv (Cornell University)|2021. 01. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 5

한 줄 요약

PeerGAN은 훈련 안정성 향상과 모드 붕괴 완화를 위해 경쟁적 피어 판별기 $D_2$를 갖춘 새로운 GAN 아키텍처를 제안한다. $D_1$과 $D_2$ 간의 최소-최대 게임을 통해 생성 샘플에 대한 일치를 방지함으로써, 레이블이나 상당한 계산 부담 없이 샘플의 다양성과 품질을 향상시킨다. 이는 MNIST, CIFAR-10, CelebA에서 기존의 기준 성능을 초월한다.

ABSTRACT

In this paper, we introduce PeerGAN, a generative adversarial network (GAN) solution to improve the stability of the generated samples and to mitigate mode collapse. Built upon the Vanilla GAN's two-player game between the discriminator $D_1$ and the generator $G$, we introduce a peer discriminator $D_2$ to the min-max game. Similar to previous work using two discriminators, the first role of both $D_1$, $D_2$ is to distinguish between generated samples and real ones, while the generator tries to generate high-quality samples which are able to fool both discriminators. Different from existing methods, we introduce another game between $D_1$ and $D_2$ to discourage their agreement and therefore increase the level of diversity of the generated samples. This property alleviates the issue of early mode collapse by preventing $D_1$ and $D_2$ from converging too fast. We provide theoretical analysis for the equilibrium of the min-max game formed among $G, D_1, D_2$. We offer convergence behavior of PeerGAN as well as stability of the min-max game. It's worth mentioning that PeerGAN operates in the unsupervised setting, and the additional game between $D_1$ and $D_2$ does not need any label supervision. Experiments results on a synthetic dataset and on real-world image datasets (MNIST, Fashion MNIST, CIFAR-10, STL-10, CelebA, VGG) demonstrate that PeerGAN outperforms competitive baseline work in generating diverse and high-quality samples, while only introduces negligible computation cost.

연구 동기 및 목표

• 생성 모델이 데이터 분포의 전체 다양성을 포착하지 못하는 GAN의 지속적인 문제인 모드 붕괴를 해결한다.
• 레이블에 의존하거나 복잡한 아키텍처 수정 없이도 GAN의 훈련 안정성과 샘플 품질을 향상시킨다.
• 생성자 출력의 다양성을 향상시키기 위해 $D_1$과 $D_2$가 서로 경쟁하는 이중 판별기 메커니즘을 도입한다.
• 판별기 간의 추가 게임이 지도 학습 없이도 작동하도록 보장하여, 보조 지도 신호나 추가 훈련 신호가 필요 없도록 한다.
• 표준 GAN에 비해 계산 비용이 거의 증가하지 않는 고품질의 다양성 있는 샘플 생성을 달성한다.

제안 방법

• 표준 GAN 프레임워크를 확장하여, 실재 데이터와 생성 샘플을 구분하는 목적을 공유하는 두 번째 판별기 $D_2$를 도입한다.
• 생성 샘플에 대한 $D_1$과 $D_2$의 일치를 방지하기 위해 $D_1$과 $D_2$ 간의 경쟁 게임을 도입함으로써 생성자의 출력 다양성을 증진시킨다.
• 생성자 $G$, $D_1$, $D_2$를 포함하는 전체 훈련 과정을 최소-최대 게임으로 설정하며, $D_1$과 $D_2$는 감지 성능 향상을 위해 공동 최적화하면서도 상호 간의 일치를 피하기 위해 경쟁한다.
• 피어 경쟁은 생성 샘플에 대한 높은 일치를 방지하는 손실 항목을 통해 구현되며, 이는 상호 보완적인 감지 패턴을 장려한다.
• 모델은 완전히 비지도 설정에서 작동하며, $D_1$-$D_2$ 경쟁에 대해 추가적인 레이블이나 데이터 모odal이 필요하지 않다.
• 이론적 분석을 통해 삼중 최소-최대 게임의 평형 조건과 수렴 행동을 규명함으로써 훈련 과정의 안정성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 경쟁적 피어 판별기 $D_2$를 도입함으로써 레이블이 없는 환경에서 GAN 생성 샘플의 다양성과 안정성을 향상시킬 수 있는가?
• RQ2 $D_1$과 $D_2$ 간의 경쟁 게임이 훈련 중 생성자가 모드 붕괴를 피하는 데 어떤 영향을 미치는가?
• RQ3 생성자 $G$, $D_1$, $D_2$를 포함하는 삼중 최소-최대 게임의 이론적 평형 행동은 어떠한가?
• RQ4 제안된 PeerGAN 프레임워크는 최소한의 계산 비용 증가로 샘플 품질을 유지하거나 향상시키는가?
• RQ5 다양한 벤치마크 데이터셋에서 기존의 이중 판별기 GAN과 비교해 PeerGAN은 샘플의 다양성과 정밀도 측면에서 어떻게 성능을 내는가?

주요 결과

• PeerGAN은 $D_1$과 $D_2$가 동일한 결정 경계로 수렴하는 것을 방지함으로써 모드 붕괴를 효과적으로 완화하고, 다양한 샘플 생성을 촉진한다.
• CIFAR-10과 CelebA에서 최신 기술 수준의 인ception 스코어와 피드유얼 인ception 스코어를 확보하며, 표준 GAN 및 기타 이중 판별기 변형 모델을 모두 능가한다.
• MNIST, Fashion-MNIST, STL-10에서의 실험을 통해 PeerGAN은 뛰어난 샘플 품질과 다양성을 입증했으며, 피드유얼 스코어와 인ception 스코어 모두 일관된 향상을 보였다.
• 피어 경쟁 메커니즘은 레이블 지도 없이 작동하여 훈련 과정의 비지도 성격을 유지한다.
• PeerGAN의 추가 계산 비용은 극히 미미하며, 피어 판별기의 도입으로 인한 추론 및 훈련 오버헤드는 최소한이다.
• 이론적 분석을 통해 삼중 최소-최대 게임의 안정된 평형이 존재함을 확인하였으며, 이는 훈련 과정에서 관찰된 경험적 안정성과 일치한다.