[논문 리뷰] ContraGAN: Contrastive Learning for Conditional Image Generation

Minguk Kang, Jaesik Park|arXiv (Cornell University)|2020. 06. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 69인용 수 77

한 줄 요약

ContraGAN은 배치에서 데이터-데이터 및 데이터-클래스 관계를 활용하는 조건부 대조 손실(2C 손실)을 도입하여 조건부 이미지 생성이 더 강해지고 판별기 과적합이 감소하며 Tiny ImageNet 및 ImageNet에서 FID가 눈에 띄게 개선됩니다.

ABSTRACT

Conditional image generation is the task of generating diverse images using class label information. Although many conditional Generative Adversarial Networks (GAN) have shown realistic results, such methods consider pairwise relations between the embedding of an image and the embedding of the corresponding label (data-to-class relations) as the conditioning losses. In this paper, we propose ContraGAN that considers relations between multiple image embeddings in the same batch (data-to-data relations) as well as the data-to-class relations by using a conditional contrastive loss. The discriminator of ContraGAN discriminates the authenticity of given samples and minimizes a contrastive objective to learn the relations between training images. Simultaneously, the generator tries to generate realistic images that deceive the authenticity and have a low contrastive loss. The experimental results show that ContraGAN outperforms state-of-the-art-models by 7.3% and 7.7% on Tiny ImageNet and ImageNet datasets, respectively. Besides, we experimentally demonstrate that contrastive learning helps to relieve the overfitting of the discriminator. For a fair comparison, we re-implement twelve state-of-the-art GANs using the PyTorch library. The software package is available at https://github.com/POSTECH-CVLab/PyTorch-StudioGAN.

연구 동기 및 목표

• GAN에서 데이터-클래스 손실을 넘어서 conditioning에 대한 동기를 부여하고 데이터-데이터 관계를 통합합니다.
• 이미지 임베딩과 클래스 임베딩을 공동으로 사용하는 새로운 2C(이중 방향) 대조 손실을 제안합니다.
• 2C 손실을 GAN 프레임워크(ContraGAN)에 통합하여 현실감과 다양성을 향상시키고 훈련을 안정화합니다.
• ContraGAN을 CIFAR10, Tiny ImageNet, ImageNet에서 최신 조건부 GAN 및 대형 GAN과 비교 평가합니다.

제안 방법

• 배치 내에서 데이터-클래스 및 데이터-데이터 관계를 활용하는 조건부 대조 손실(2C 손실)을 도입합니다.
• 이미지를 단위 초원구에서 임베딩으로 매핑하는 인코더 S와 프로젝션 헤드 h를 정의합니다.
• 2C 손실로 표준 조건 손실을 대체하거나 보강하여 같은 클래스의 이미지 임베딩을 함께 끌어당기고 다른 임베딩을 멀어지게 하는 한편, 임베딩을 해당 클래스로 임베딩 e(y)와의 정렬도 수행합니다.
• l(xi, yi; t)를 동일 클래스 네거티브 용어를 포함하는 대조 목표로 정식화하여 데이터-데이터 및 데이터-클래스 감독을 가능하게 합니다.
• 실제 샘플에 대해 보조 2C 손실로 판별기를 학습하고 생성 샘플에도 2C 손실을 도입하여 생성기를 안내합니다.
• 2C 손실이 판별기 과적합을 줄이고 백본 아키텍처(DCGAN, ResGAN, BigGAN) 및 데이터셋 전반에 걸쳐 샘플 품질을 개선함을 보여줍니다.

실험 결과

연구 질문

• RQ1 배치 내 데이터-데이터 관계를 활용하는 대조 목표가 전통적인 데이터-클래스 조건부 조건을 넘어 조건부 이미지 생성을 개선할 수 있습니까?
• RQ2 제안된 2C 손실이 대규모 조건부 생성 과제에서 GAN 훈련을 안정시키고 판별기 과적합을 줄일 수 있습니까?
• RQ3 CIFAR10, Tiny ImageNet, ImageNet에서 2C 손실을 통합했을 때 일반 백본에서 생성 품질(FID)의 실질적 이점은 무엇입니까?

주요 결과

데이터셋	SNResGAN [4]	SAGAN [5]	BigGAN [6]	ContraGAN (Ours)	개선
CIFAR10 [24]	*17.5	17.127 ± 0.220	*14.73/10.739 ± 0.016	10.597 ± 0.273	*+28.1%/ +1.3 %
Tiny ImageNet [25]	47.055 ± 3.234	46.221 ± 3.655	31.771 ± 3.968	29.492 ± 1.296	+7.2 %
ImageNet [18]	-	-	21.072	19.443	+7.7 %

• ContraGAN은 Tiny ImageNet에서 7.3%, ImageNet에서 7.7%의 FID 개선으로 최첨단 결과를 달성합니다.
• CIFAR10에서 ContraGAN은 표 3의 아트 모델 기저 대비 FID를 1.3% 낮춥니다.
• ContraGAN은 ProjGAN에 비해 판별기 과적합을 줄이고 더 안정적인 훈련을 보입니다.
• 관련 연구에서 2C 손실은 베이스라인 대비 FID를 크게 감소시키고 더 큰 배치 크기 및 일관성 규제의 이점을 얻습니다.
• ContraGAN의 2C 손실은 데이터-데이터 관계를 명시적으로 활용하되 강한 음수 채굴이나 광범위한 증강이 필요하지 않습니다.