[논문 리뷰] Improved Consistency Regularization for GANs

Zhengli Zhao, Sameer Singh외 4명|arXiv (Cornell University)|2020. 02. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 49인용 수 27

한 줄 요약

이 논문은 GAN에 대한 개선된 일致성 정규화(ICR)를 제안하며, 실사 및 생성 이미지 양쪽을 정규화하는 균형 일치성 정규화(bCR)와 생성기의 민감도와 판별기의 비민감도를 잠재공간 내 변화에 대해 유도하는 잠재일치성 정규화(zCR)를 도입한다. ICR는 아티팩트를 감소시키고, BigGAN 기반 ImageNet-2012에서 5.38, CIFAR-10 조건부 합성에서 9.21의 최신 기술(FID) 점수를 달성한다.

ABSTRACT

Recent work has increased the performance of Generative Adversarial Networks (GANs) by enforcing a consistency cost on the discriminator. We improve on this technique in several ways. We first show that consistency regularization can introduce artifacts into the GAN samples and explain how to fix this issue. We then propose several modifications to the consistency regularization procedure designed to improve its performance. We carry out extensive experiments quantifying the benefit of our improvements. For unconditional image synthesis on CIFAR-10 and CelebA, our modifications yield the best known FID scores on various GAN architectures. For conditional image synthesis on CIFAR-10, we improve the state-of-the-art FID score from 11.48 to 9.21. Finally, on ImageNet-2012, we apply our technique to the original BigGAN model and improve the FID from 6.66 to 5.38, which is the best score at that model size.

연구 동기 및 목표

• 일致성 정규화가 CR-GAN에서 실사 이미지에만 증강이 적용될 때 발생하는 아티팩트를 해결하기 위해.
• 일치성 정규화를 실사 이미지 외에도 생성 이미지로 확장하여 훈련의 균형을 향상시키기 위해.
• 잠재공간 내 변화에 대한 생성기와 판별기의 거동을 정규화하여 강건성과 다양성을 향상시키기 위해.
• 무조건적 및 조건부 이미지 합성 벤치마크에서 최신 기술(FID) 점수를 달성하기 위해.
• GAN 훈련을 위한 단순하고 효율적이며 하이퍼파rameter에 민감하지 않은 방법을 개발하기 위해.

제안 방법

• 균형 일치성 정규화(bCR)를 도입하여 생성 이미지와 그 증강 결과 간의 일치성 손실를 적용함으로써 판별기 훈련의 균형을 맞춘다.
• 잠재일치성 정규화(zCR)를 제안하며, 잠재 벡터에 작은 노이즈를 가해 생성기가 변화에 대해 다양한 출력을 내도록 유도한다.
• zCR의 경우, 생성기 손실에 $ L_{\text{gen}} = -\|G(z) - G(T(z))\|^2 $ 항을 포함하여 잠재변화에 대한 민감도를 증가시킨다.
• 판별기의 경우 $ L_{\text{dis}} = \|D(G(z)) - D(G(T(z)))\|^2 $ 로 정규화하여 잠재변화에 대해 비민감하도록 강제한다.
• bCR와 zCR을 결합하여 개선된 일치성 정규화(ICR)를 구성하며, 이는 표준 GAN 목표함수와 함께 적용된다.
• 이미지에 표준 데이터 증강(예: 무작위 자르기, 뒤집기)을 적용하고, 잠재벡터에 노이즈를 추가하여 변화를 유도한다.

실험 결과

연구 질문

• RQ1 CR-GAN에서 증강이 실사 이미지에만 적용되는 비대칭성으로 인한 아티팩트를 생성 이미지로의 일치성 정규화를 확장함으로써 줄일 수 있는가?
• RQ2 잠재변화에 대한 생성기 민감도를 정규화하면 샘플 다양성 향상과 모드 붕괴 감소에 기여하는가?
• RQ3 잠재변화에 대한 판별기 비민감도를 강제하면 일반화 및 강건성이 향상되는가?
• RQ4 노이즈 크기, 가중치 계수 등과 같은 하이퍼파ram터 설정 중 최적의 성능을 내는 것은 무엇인가?
• RQ5 ICR는 CIFAR-10, CelebA, ImageNet-2012와 같은 다양한 벤치마크에서 최신 기술(FID) 점수를 달성할 수 있는가?

주요 결과

• ICR는 실사 및 생성 이미지 간의 일치성 정규화 균형을 맞춤으로써 생성 샘플의 아티팩트를 감소시킨다.
• CIFAR-10에서 ICR는 무조건적 이미지 합성의 여러 GAN 아키텍처에서 최고의 FID 점수를 달성한다.
• CIFAR-10 조건부 합성에서 ICR는 FID 점수를 11.48에서 9.21로 향상시켜 새로운 최신 기술 기록을 수립한다.
• 원본 BigGAN 모델을 사용한 ImageNet-2012에서 ICR는 FID를 6.66에서 5.38로 감소시켜 동일 모델 크기에서 최고 성능을 기록한다.
• 이 방법은 계산적으로 경량이며 하이퍼파ram터 설정에 상대적으로 민감하지 않으며, 특히 중간 크기의 노이즈($ \sigma_{\text{noise}} = 0.07 $)와 $ \lambda_{\text{gen}} = 0.5 $에서 뛰어난 성능을 보인다.
• 실험 결과, 판별기 계수 $ \lambda_{\text{dis}} $ 를 높일수록 성능 향상이 더 두드러지며, zCR에서의 중요성을 시사한다.