[논문 리뷰] Training GANs with Stronger Augmentations via Contrastive Discriminator

Jongheon Jeong, Jinwoo Shin|arXiv (Cornell University)|2021. 03. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 58인용 수 23

한 줄 요약

이 논문은 강력한 데이터 증강을 사용할 수 있도록 훈련 불안정성 없이 GAN에 적용할 수 있는 대trastive 판별자인 ContraD를 제안한다. 이로 인해 FID 및 IS 점수를 크게 향상시킬 수 있다. 대비 표현 학습을 통해 진짜 및 가짜 샘플을 정렬함으로써 ContraD는 판별자의 일반화 능력을 향상시키고, 잠재 공간 샘플링을 통한 비지도 조건부 생성을 가능하게 한다.

ABSTRACT

Recent works in Generative Adversarial Networks (GANs) are actively revisiting various data augmentation techniques as an effective way to prevent discriminator overfitting. It is still unclear, however, that which augmentations could actually improve GANs, and in particular, how to apply a wider range of augmentations in training. In this paper, we propose a novel way to address these questions by incorporating a recent contrastive representation learning scheme into the GAN discriminator, coined ContraD. This fusion enables the discriminators to work with much stronger augmentations without increasing their training instability, thereby preventing the discriminator overfitting issue in GANs more effectively. Even better, we observe that the contrastive learning itself also benefits from our GAN training, i.e., by maintaining discriminative features between real and fake samples, suggesting a strong coherence between the two worlds: good contrastive representations are also good for GAN discriminators, and vice versa. Our experimental results show that GANs with ContraD consistently improve FID and IS compared to other recent techniques incorporating data augmentations, still maintaining highly discriminative features in the discriminator in terms of the linear evaluation. Finally, as a byproduct, we also show that our GANs trained in an unsupervised manner (without labels) can induce many conditional generative models via a simple latent sampling, leveraging the learned features of ContraD. Code is available at this https URL.

연구 동기 및 목표

• 제한된 데이터 증강으로 인한 GAN의 판별자 과적합 문제를 해결하기 위해.
• 안정화된 조건에서 더 강력한 증강 기법이 GAN 성능 향상에 기여할 수 있는지 탐색하기 위해.
• 대비 표현 학습을 GAN 판별자에 통합하여 특징의 구분 능력을 향상시키기 위해.
• 대비 학습과 GAN 훈련 간 상호 이점이 존재하는지 탐구하기 위해.
• 학습된 특징을 활용해 비지도 GAN에서 잠재 공간 샘플링을 통한 조건부 생성을 가능하게 하기 위해.

제안 방법

• 데이터 증강에 대해 불변 표현을 학습할 수 있도록 대비 학습 목표를 GAN 판별자에 통합하기 위해.
• 훈련 중에 진짜 및 가짜 이미지 양쪽에 강력한 증강 기법(예: 무작위 자르기, 색상 왜곡 등)을 적용하기 위해.
• MoCo나 SimCLR와 유사하게, 대비 학습 과정의 안정성을 높이기 위해 동적 인코더를 사용하기 위해.
• 같은 샘플의 증강된 시각 간의 대비 유사도를 최대화하면서도, 진짜와 가짜 샘플을 구분할 수 있도록 판별자 훈련하기 위해.
• 가중치 조합을 사용해 GAN 손실 및 대비 손실을 동시에 최적화하기 위해.
• 최종 판별자 특징을 후속 작업, 특히 잠재 공간 샘플링을 통한 조건부 생성에 활용하기 위해.

실험 결과

연구 질문

• RQ1 강력한 데이터 증강을 사용할 수 있는가? 이는 훈련 불안정성을 증가시키지 않는 한.
• RQ2 대비 표현 학습을 통합함으로써 GAN 판별자의 일반화 능력이 향상되는가?
• RQ3 대비 학습과 GAN 훈련 간에 특징 품질 측면에서 상호 이점이 존재하는가?
• RQ4 ContraD를 갖춘 비지도 GAN이 레이블 없이 조건부 샘플을 생성할 수 있는가?
• RQ5 FID 및 IS 측정 기준에서 ContraD는 다른 증강 통합 GAN 방법보다 어떻게 비교되는가?

주요 결과

• ContraD를 사용한 GAN는 최근의 증강 기반 GAN 방법보다 일관되게 낮은 FID 점수와 높은 IS 점수를 기록한다.
• ContraD로 훈련된 판별자는 선형 평가 프로토콜을 통해 매우 구분 능력 있는 특징을 유지함을 입증하였다.
• 대비 학습의 안정화 효과 덕분에 더 강력한 증강 기법이 효과적으로 활용된다.
• 대비 목표는 학습된 표현의 품질을 향상시키며, 이는 GAN 성능 향상으로 이어진다.
• ContraD로 훈련된 비지도 GAN은 학습된 특징을 활용해 잠재 공간에서 샘플링을 통해 조건부 샘플을 생성할 수 있다.
• 대비 표현 학습과 GAN 훈련 간의 강력한 일관성이 입증되었으며, 더 나은 표현은 더 나은 GAN을 만들고, 그 반대도 마찬가지로 성립한다.