[논문 리뷰] Dual Contrastive Loss and Attention for GANs

Ning Yu, Guilin Liu외 5명|arXiv (Cornell University)|2021. 03. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 100인용 수 5

한 줄 요약

이 논문은 GAN 기반 이미지 생성을 향상시키기 위해 이중 대비 손실과 주의 메커니즘을 제안한다. 이는 특징 표현과 장거리 모델링을 크게 향상시킨다. 생성자에서 새로운 대비 손실과 자기주의를, 판별자에서 참조주의를 결합함으로써, 기준 데이터셋에서 FID가 최소 17.5% 향상되고, CLEVR와 같은 복합적 장면에서는 최대 47.5% 향상되어 이미지 품질과 현실성에서 새로운 최고 성능을 달성한다.

ABSTRACT

Generative Adversarial Networks (GANs) produce impressive results on unconditional image generation when powered with large-scale image datasets. Yet generated images are still easy to spot especially on datasets with high variance (e.g. bedroom, church). In this paper, we propose various improvements to further push the boundaries in image generation. Specifically, we propose a novel dual contrastive loss and show that, with this loss, discriminator learns more generalized and distinguishable representations to incentivize generation. In addition, we revisit attention and extensively experiment with different attention blocks in the generator. We find attention to be still an important module for successful image generation even though it was not used in the recent state-of-the-art models. Lastly, we study different attention architectures in the discriminator, and propose a reference attention mechanism. By combining the strengths of these remedies, we improve the compelling state-of-the-art Fréchet Inception Distance (FID) by at least 17.5% on several benchmark datasets. We obtain even more significant improvements on compositional synthetic scenes (up to 47.5% in FID). Code and models are available at https://github.com/ningyu1991/AttentionDualContrastGAN .

연구 동기 및 목표

• 최첨단 GAN 성능에도 불구하고 생성된 이미지가 쉽게 식별될 수 있는 문제를 해결하기 위해.
• 모드 붕괴를 줄이고 생성 품질을 향상시키기 위해 판별자의 일반화 능력과 표현 학습 능력을 향상시키기 위해.
• 최근 SOTA 모델인 StyleGAN2에서 주의 메커니즘이 생략된 이후에도 주의 메커니즘이 현대 GAN에서 여전히 성능 향상에 기여할 수 있는지 재평가하기 위해.
• 제한된 데이터셋에서 훈련을 안정화시키기 위해 진짜 이미지를 참조로 활용하는 새로운 참조주의 메커니즘을 판별자에 설계하기 위해.
• 대비 학습이 주의 메커니즘과 융합되어 보다 우수하고 강건한 생성 모델을 생성할 수 있음을 입증하기 위해.

제안 방법

• 표준 적대적 손실을 대체하는 이중 대비 손실을 도입하여, 판별자가 진짜와 가짜 샘플 간의 더 일반화되고 구별 가능한 표현을 학습하도록 유도한다.
• 이미지 영역 간 장거리 의존성을 모델링하기 위해 생성자에 자기주의 모듈을 통합하여 구조적 일관성과 세부 사항 생성을 향상시킨다.
• 판별자에 참조주의 메커니즘을 제안하며, 두 개의 시아미즈 브랜치가 진짜 참조 이미지와 주된 이미지(진짜 또는 생성된)를 처리하고, 진짜 이미지에 의해 주의가 유도되어 과적합을 줄인다.
• 진짜 및 가짜 특징의 양성 및 음성 쌍을 비교하는 대비 학습 프레임워크를 사용하여, 분류 능력과 특징 다양성을 향상시킨다.
• 이중 대비 손실을 사용한 미니맥시 목적함수로 GAN을 훈련시켜 생성자에게 더 나은 기울기 신호를 제공한다.
• 이중 대비 손실을 생성자에서 자기주의와 결합하고 판별자에서 참조주의를 적용하여 이미지 품질 향상에 상호보완적인 개선 효과를 달성한다.

실험 결과

연구 질문

• RQ1 이중 대비 손실은 표준 GAN 손실에 비해 판별자의 일반화 능력 향상과 더 나은 이미지 생성 품질 달성에 기여하는가?
• RQ2 최근 SOTA 모델인 StyleGAN2와 같이 주의 메커니즘이 생략된 상황에서도 주의 메커니즘이 여전히 GAN 성능 향상에 기여할 수 있는가?
• RQ3 주의 메커니즘의 선택이 다양한 데이터셋과 데이터 스케일에서 생성자 및 판별자 성능에 미치는 영향은 어떠한가?
• RQ4 제안된 판별자 내 참조주의 메커니즘이 특히 제한된 스케일의 데이터셋에서 일반화 능력을 향상시키는가?
• RQ5 대비 학습과 주의 메커니즘이 복잡하고 구성적인 장면인 CLEVR와 같이 복잡한 장면에서 이미지 생성 품질에 미치는 통합적 영향은 어떠한가?

주요 결과

• 이중 대비 손실은 CLEVR 데이터셋에서 FID를 최대 37% 감소시켜 일반화 및 표현 학습 능력 향상에 있어 뚜렷한 개선을 보였다.
• 생성자에서 자기주의와 이중 대비 손실을 조합함으로써, 여러 대규모 데이터셋에서 FID가 최소 17.5% 상대적으로 향상되었다.
• CLEVR 데이터셋에서 이는 색상 누출, 끊어짐, 구조적 오류 등의 아티팩트를 줄였으며, 특히 가림, 그림자, 반사가 있는 장면에서 두드러진다.
• 참조주의 판별자는 진짜 참조 이미지를 활용해 주의를 유도하고 과적합을 줄임으로써 제한된 스케일의 데이터셋에서 성능 향상을 이룬다.
• 자기주의 생성자는 Bedroom 데이터셋에서 FID를 최대 13.3% 향상시켜 복잡하고 변동성이 큰 장면에서의 이점이 뚜렷하다.
• FFHQ 데이터셋에서는 자기주의가 성능 향상을 이룬 바가 없었으며, 이는 얼굴 특징점 정렬이 국소적인 인덕티브 바이어스를 상쇄하기 때문일 것으로 보이며, 주의의 이점이 맥락에 따라 달라질 수 있음을 시사한다.