[논문 리뷰] Generative Adversarial Network Training is a Continual Learning Problem

Kevin J Liang, Chunyuan Li외 2명|arXiv (Cornell University)|2018. 11. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 38

한 줄 요약

이 논문은 GAN 학습을 지속적 학습 문제로 재구성하며, 변화하는 생성자 분포로 인해 디스criminator가 이전에 생성된 샘플에 대한 치명적인 잊음( catastrophic forgetting)을 겪는다는 점을 고려한다. EWC와 지능형 시냅스(IS)를 디스criminator에 적용함으로써 과거에 생성된 가짜 샘플을 인식하는 능력을 유지함으로써, FID(최대 10.92), ICP(최대 7.58), BLEU 점수(최대 0.934) 향상에 기여하며, 계산 오버헤드는 최소한으로 유지된다.

ABSTRACT

Generative Adversarial Networks (GANs) have proven to be a powerful framework for learning to draw samples from complex distributions. However, GANs are also notoriously difficult to train, with mode collapse and oscillations a common problem. We hypothesize that this is at least in part due to the evolution of the generator distribution and the catastrophic forgetting tendency of neural networks, which leads to the discriminator losing the ability to remember synthesized samples from previous instantiations of the generator. Recognizing this, our contributions are twofold. First, we show that GAN training makes for a more interesting and realistic benchmark for continual learning methods evaluation than some of the more canonical datasets. Second, we propose leveraging continual learning techniques to augment the discriminator, preserving its ability to recognize previous generator samples. We show that the resulting methods add only a light amount of computation, involve minimal changes to the model, and result in better overall performance on the examined image and text generation tasks.

연구 동기 및 목표

• 변화하는 생성자 분포로 인해 디스criminator가 지속적 학습 문제를 겪기 때문에, GAN 학습에서의 모드 붕괴와 진동 문제를 해결하고자 한다.
• 기존의 캐논리컬 데이터셋이 실제 세계의 치명적인 기억 상실 역학을 반영하지 못하는 데 비해, GAN 학습이 지속적 학습에 더 현실적인 벤치마크를 제공하는지 평가하고자 한다.
• 지속적 학습 정규화를 디스criminator에 통합하여 GAN 학습의 안정성과 성능을 향상시키고, 이전에 생성된 샘플을 인식하는 능력을 유지하고자 한다.
• EWC 및 IS와 같은 기존의 지속적 학습 기법이 GAN에 효과적으로 적용될 수 있으며, 아키텍처나 학습 방식의 최소한의 수정으로 가능함을 보여주고자 한다.
• 이 방법이 CelebA, CIFAR-10, MS COCO 캡션 등 다양한 벤치마크에서 이미지 및 텍스트 생성 품질 향상에 기여함을 보여주고자 한다.

제안 방법

• EWC와 IS를 GAN의 디스criminator에 적응시키며, 이전 생성자 분포에 중요한 파라미터를 식별하기 위해 피셔 정보를 사용한다.
• 디스criminator 손실에 정규화 항을 추가하여, 과거에 중요한 가중치에서의 큰 파라미터 이동을 방지하는 방식으로 GAN 학습 목표를 수정한다.
• 생성자 및 학습 스케줄을 그대로 유지하면서 디스criminator에 EWC 및 IS 정규화를 적용함으로써 아키텍처 변경 최소화를 달성한다.
• 기본 GAN 모델들(예: DCGAN, WGAN-GP, SN-DCGAN)과 동일한 초모델 및 학습률을 사용하며, 디스criminator에만 EWC/IS 손실 항을 추가한다.
• 이미지 데이터셋(CelebA, CIFAR-10)에서는 프리에히트 인ception 거리(FID)와 인셉션 스코어(ICP)를, 텍스트 생성(MS COCO 캡션)에서는 BLEU 및 세라프-BLEU 점수를 사용해 학습 및 평가한다.
• TTUR, WGAN-GP, SN-DCGAN 등 다양한 GAN 변종에서 성능을 평가하여 이 방법의 일반화 능력을 검증한다.

실험 결과

연구 질문

• RQ1 변화하는 생성자 분포로 인해 디스criminator가 치명적인 기억 상실을 겪는다는 점을 감안할 때, GAN 학습이 본질적으로 지속적 학습 문제인가?
• RQ2 EWC 및 IS와 같은 지속적 학습 기법이 GAN 학습을 안정화시키고 모드 붕괴를 완화하는 데 효과적으로 적용될 수 있는가?
• RQ3 디스criminator에 EWC 또는 IS 정규화를 추가하면 이미지 및 텍스트 생성 벤치마크에서 FID, ICP, BLEU 점수가 향상되는가?
• RQ4 성능 및 생성 샘플의 다양성 측면에서 제안된 방법은 최신 GAN 학습 기법보다 어떻게 비교되는가?
• RQ5 기존 데이터셋보다 GAN으로 생성된 데이터가 지속적 학습에 더 현실적인 벤치마크가 될 수 있는가?

주요 결과

• 디스criminator에 EWC를 적용함으로써 CelebA의 FID는 12.52에서 10.92로 감소했고, CIFAR-10의 FID는 41.44에서 34.84로 감소하여 이미지 품질과 다양성 향상을 보였다.
• CIFAR-10에서 ICP는 EWC 적용으로 6.97 ± 0.05에서 7.58 ± 0.07로 향상되어 더 나은 클래스 표현과 샘플 품질을 나타냈다.
• MS COCO 캡션 텍스트 생성에서 EWC/IS + textGAN은 BLEU-2 점수 0.934를 기록하여 라이브러리 기반 textGAN(0.926) 및 대부분의 최신 기법을 초월했다.
• EWC/IS 변종은 BLEU-4 점수 0.594를 기록하여 라이브러리 기반 textGAN(0.567)을 능가했고 LeakGAN에 가까운 성능을 기록했으며, 더 낮은 세라프-BLEU(0.388 vs. 0.689)를 유지하여 더 높은 다양성을 보였다.
• 생성자 아키텍처나 학습률에 변화 없이, EWC/IS 정규화 항을 추가함으로써 추가적인 계산 비용은 최소한으로 유지되었다.
• 결과적으로, 지속적 학습 정규화를 적용한 GAN 학습은 더 안정적인 학습, 감소된 모드 붕괴, 그리고 이미지 및 텍스트 생성 과제에서 향상된 샘플 품질을 보여주었다.