[논문 리뷰] DivCo: Diverse Conditional Image Synthesis via Contrastive Generative Adversarial Network

Rui Liu, Yixiao Ge외 3명|arXiv (Cornell University)|2021. 03. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 4

한 줄 요약

이 논문은 잠재 공간에서의 증강된 대비 손실을 사용하여 생성된 이미지 간의 긍정적 및 부정적 관계를 함께 모델링함으로써 다양한 조건부 이미지 생성을 향상시키는 새로운 대비 학습 기반 프레임워크인 DivCo를 제안한다. 근접한 잠재 코드에서 유도된 이미지 간 유사성을 강조하고 먼 코드에서 유도된 이미지 간 이질성을 강조함으로써 DivCo는 모드 붕괴를 효과적으로 완화하면서도 이미지 품질을 유지하며, 쌍이 없는 경우와 쌍이 있는 경우 모두 최신 기법들을 능가한다.

ABSTRACT

Conditional generative adversarial networks (cGANs) target at synthesizing diverse images given the input conditions and latent codes, but unfortunately, they usually suffer from the issue of mode collapse. To solve this issue, previous works mainly focused on encouraging the correlation between the latent codes and their generated images, while ignoring the relations between images generated from various latent codes. The recent MSGAN tried to encourage the diversity of the generated image but only considers "negative" relations between the image pairs. In this paper, we propose a novel DivCo framework to properly constrain both "positive" and "negative" relations between the generated images specified in the latent space. To the best of our knowledge, this is the first attempt to use contrastive learning for diverse conditional image synthesis. A novel latent-augmented contrastive loss is introduced, which encourages images generated from adjacent latent codes to be similar and those generated from distinct latent codes to be dissimilar. The proposed latent-augmented contrastive loss is well compatible with various cGAN architectures. Extensive experiments demonstrate that the proposed DivCo can produce more diverse images than state-of-the-art methods without sacrificing visual quality in multiple unpaired and paired image generation tasks.

연구 동기 및 목표

• 잠재 코드를 사용함에도 불구하고 이미지 생성의 다양성이 제한되는 조건부 GAN에서의 모드 붕괴 문제를 해결하기 위해.
• 다른 잠재 코드에서 생성된 이미지 간의 긍정적(유사한) 및 부정적(이질적인) 관계를 모델링하여 생성 다양성을 향상시키기 위해.
• 기존 cGAN 아키텍처에 대한 수정 없이도 다양한 아키텍처와 호환되는 방법을 개발하기 위해.
• 조건부 입력과 잠재 코드 영향력 간의 더 나은 분리(deconfolmation)를 달성하여, 어느 한 쪽에 대한 편향을 피하기 위해.

제안 방법

• 근접한 잠재 코드에서 생성된 이미지를 '긍정' 쌍으로 간주하고, 먼 코드에서 생성된 이미지를 '부정' 쌍으로 간주하는 새로운 잠재 증강 대비 손실을 도입한다.
• 쿼리 잠재 코드를 중심으로 초구면(hypersphere)을 정의하며, 이 내부에 있는 샘플을 긍정적 샘플로, 외부에 있는 샘플을 부정적 샘플로 선택한다.
• 생성된 이미지의 특징 공간에서 대비 학습을 적용하여, 긍정 쌍 간의 유사성과 부정 쌍 간의 이질성을 유도한다.
• 기존의 cGAN 목표 함수에 대비 손실을 정규화 항으로 통합하여, 기존 아키텍처와의 호환성을 유지한다.
• 학습 안정화 및 특징 구분 능력 향상을 위해 온도 조정된 대비 손실을 적용한다.
• 이 프레임워크는 쌍이 없는 이미지 번역, 쌍이 있는 이미지 번역, 그리고 클래스 조건부 이미지 생성 작업에 모두 적용된다.

실험 결과

연구 질문

• RQ1 생성된 이미지 간의 긍정적 및 부정적 관계를 함께 모델링하는 것이 조건부 이미지 생성의 다양성 향상에 기여하는가?
• RQ2 긍정/부정 쌍 정의에 잠재 코드 간 거리 정보를 포함시키는 것이 모드 붕괴 완화에 어떤 영향을 미치는가?
• RQ3 아키텍처 수정 없이도 대비 학습이 조건부 이미지 생성에 효과적으로 적용될 수 있는가?
• RQ4 다양한 데이터셋과 설정에서 기존 기법들과 비교해 볼 때, 제안된 방법이 이미지 품질과 다양성 측면에서 얼마나 뛰어난가?

주요 결과

• DivCo는 CIFAR-10에서 클래스 조건부 이미지 생성 작업에서 FID 25.21 ± 0.20을 기록하여, DCGAN(28.34 ± 0.12)과 MSGAN(27.09 ± 0.14)을 모두 능가한다.
• Cityscapes 및 Winter2Summer 데이터셋에서 DivCo는 DRIT과 MSGAN에 비해 훨씬 더 다양한 이미지를 생성하며, 정성적 비교에서 빨간색 십자가로 강조된 바와 같다.
• 민감도 분석 결과, 대비 손실의 최적 가중치(λ_contra)는 1이며, 3를 초과하면 현실성에 대한 과도한 페널티로 인해 성능이 급격히 악화됨을 확인하였다.
• 이 방법은 뛰어난 다양성과 함께 높은 시각적 품질을 유지하며, FID와 사용자 연구를 통한 다양성 평가에서 이를 확인하였다.
• 초구면의 반지름(R)은 강한 영향을 미치며, 너무 크거나 너무 작을 경우 성능이 떨어지므로, 주의 깊은 초모수 튜닝이 필요하다.
• 온도 초모수 τ는 매우 민감하며, 너무 높거나 너무 낮은 값은 성능 저하를 초래하므로, 이 스케일링 인자에 대한 주의 깊은 설정이 필요하다.