[논문 리뷰] Overcoming Mode Collapse with Adaptive Multi Adversarial Training

Karttikeya Mangalam, Rohin Garg|arXiv (Cornell University)|2021. 12. 29.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

이 논문은 모드 붕괴를 막기 위해 기존 판별기의 치명적 망각을 완화함으로써 동적으로 추가 판별기를 생성하는 새로운 GAN 훈련 프레임워크인 적응형 다중 적대적 훈련(AMAT)을 제안한다. 망각이 감지될 경우 예시 데이터를 저장하고 새로운 판별기를 추가함으로써 AMAT는 다양한 GAN 아키텍처에서 모드 커버리지와 훈련 안정성을 향상시키며, 아키텍처 수정 없이도 최신 기준 FID 점수와 향상된 인ception 점수를 달성한다.

ABSTRACT

Generative Adversarial Networks (GANs) are a class of generative models used for various applications, but they have been known to suffer from the mode collapse problem, in which some modes of the target distribution are ignored by the generator. Investigative study using a new data generation procedure indicates that the mode collapse of the generator is driven by the discriminator's inability to maintain classification accuracy on previously seen samples, a phenomenon called Catastrophic Forgetting in continual learning. Motivated by this observation, we introduce a novel training procedure that adaptively spawns additional discriminators to remember previous modes of generation. On several datasets, we show that our training scheme can be plugged-in to existing GAN frameworks to mitigate mode collapse and improve standard metrics for GAN evaluation.

연구 동기 및 목표

• GAN에서 지속적인 문제로 남아 있는 모드 붕괴 문제를 해결함으로써 데이터 다양성 저하와 훈련 불안정성을 방지하기 위해.
• 지속적인 훈련 중 판별기에서 발생하는 치명적 망각과 관련된 모드 붕괴의 근본 원인을 규명하기 위해.
• 기존 GAN 프레임워크를 보완할 수 있는 즉시 적용 가능한 솔루션을 개발하여, 학습된 모드를 유지하기 위해 동적으로 판별기를 추가함으로써 성능을 향상시키기 위해.
• 합성 및 실세계 데이터셋에서의 검증을 통해 모드 커버리지와 평가 지표 향상을 입증하기 위해.

제안 방법

• 이전에 생성된 모드의 예시 데이터를 저장하고, 이 데이터에 대한 판별기의 정확도를 모니터링함으로써 판별기 내 치명적 망각을 감지하는 메커니즘을 도입한다.
• 망각이 감지되면, 망각된 모드에 특화된 새로운 판별기가 생성되어 그 모드의 분류 능력을 유지한다.
• 각 모드의 예시 데이터는 훈련 중에 저장되어, 망각 감지 및 판별기 생성을 위한 메모리 백으로 기능한다.
• 새로운 판별기가 추가될 때마다 망각 임계값과 학습률 스케일링 요소를 동적으로 증가시켜 학습 안정성을 높인다.
• 정규화 흐름을 사용한 합성 데이터 생성 절차를 통해 고차원에서의 모드 붕괴 및 복구를 2차원 투영으로 시각화할 수 있다.
• 이 프레임워크는 기존의 어떤 GAN 아키텍처와도 호환되며, 생성기나 판별기 네트워크를 수정하지 않고도 원활하게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 판별기에서 발생하는 치명적 망각이 GAN의 모드 붕괴를 유발하는가?
• RQ2 판별기를 적응적으로 추가함으로써 망각된 데이터 모드의 기억을 유지함으로써 모드 붕괴를 완화할 수 있는가?
• RQ3 표준 벤치마크에서 표준 GAN과 다른 모드 붕괴 완화 기법과 비교해 AMAT는 어떤 성능을 보이는가?
• RQ4 아키텍처 수정 없이도 다양한 GAN 아키텍처에 효과적으로 적용될 수 있는가?
• RQ5 합성 데이터 생성 절차를 통해 모드 붕괴 동역학을 신뢰성 있게 시각화하고 분석할 수 있는가?

주요 결과

• AMAT는 테스트된 모든 GAN에서 FID 점수를 크게 감소시켰다: DCGAN은 34.7에서 30.14로, ResNetGAN은 36.4에서 16.35로, WGAN-GP는 19.1에서 17.2로, SN-GAN은 14.5에서 13.8로, BigGAN은 10.5에서 6.11로 감소하였다.
• 판별기 용량이 동일한 단일 판별기 모델은 AMAT의 성능을 따라잡지 못했으며, 이는 용량만으로는 모드 붕괴 문제가 해결되지 않음을 증명한다.
• 784차원의 합성 8가우시안 링 데이터셋에서, AMAT는 단 두 개의 추가 판별기로 8개의 모든 모드를 성공적으로 복구했고, 일반 GAN은 순환적 모드 붕괴를 보였다.
• 인ception 점수는 DCGAN에서 5.97에서 6.32로, ResNetGAN에서 6.59에서 8.10으로, WGAN-GP에서 7.72에서 7.80으로, SN-GAN에서 8.24에서 8.34로, BigGAN에서 9.14에서 9.51로 향상되었다.
• 이 방법은 강건하고 일반화 능력이 뛰어나 DCGAN, ResNetGAN, WGAN-GP, SN-GAN, BigGAN 등 다양한 아키텍처에서 일관된 향상을 보였다.
• 합성 데이터 생성 절차를 통해 모드 붕괴 및 복구의 명확한 시각화가 가능했으며, 망각이 붕괴의 주요 원인임을 확인할 수 있었다.