[논문 리뷰] R\'{e}nyi Generative Adversarial Networks

Himesh Bhatia, William Paul외 3명|arXiv (Cornell University)|2020. 06. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 3인용 수 2

한 줄 요약

이 논문은 매개수 $\alpha$ 를 사용하는 Rényi 정보 측도를 기반으로 한 생성적 적대적 네트워크(GAN) 손실 함수를 도입한다. 이는 원래 GAN 손실을 일반화하면서도 균형을 유지한다. 이 방법은 학습 안정성을 향상시키고 더 높은 품질의 이미지를 생성하며, 표준 StyleGAN 대비 RenyiStyleGAN을 사용해 64×64 CelebA 이미지에서 최고 성능(FID 점수 8.33)을 달성한다.

ABSTRACT

We propose a loss function for generative adversarial networks (GANs) using Renyi information measures with parameter $\alpha$. More specifically, we formulate GAN's generator loss function in terms of Renyi cross-entropy functionals. We demonstrate that for any $\alpha$, this generalized loss function preserves the equilibrium point satisfied by the original GAN loss based on the Jensen-Renyi divergence, a natural extension of the Jensen-Shannon divergence. We also prove that the Renyi-centric loss function reduces to the original GAN loss function as $\alpha o 1$. We show empirically that the proposed loss function, when implemented on both DCGAN (with $L_1$ normalization) and StyleGAN architectures, confers performance benefits by virtue of the extra degree of freedom provided by the parameter $\alpha$. More specifically, we show improvements with regard to: (a) the quality of the generated images as measured via the Frechet Inception Distance (FID) score (e.g., best FID=8.33 for RenyiStyleGAN vs 9.7 for StyleGAN when evaluated over 64$ imes$64 CelebA images) and (b) training stability. While it was applied to GANs in this study, the proposed approach is generic and can be used in other applications of information theory to deep learning, e.g., AI bias or privacy.

연구 동기 및 목표

• Rényi 정보 측도를 기반으로 한 일반화된 GAN 손실 함수를 개발하여 생성 모델 성능을 향상시키는 것.
• 추가적인 하이퍼파rameter $\alpha$ 를 도입하면서도 원래 GAN 손실의 균형점을 유지하는 것.
• 제안된 손실을 DCGAN 및 StyleGAN 아키텍처에 대해 실증적으로 평가하여 이미지 품질 향상과 학습 안정성 향상을 도모하는 것.
• Rényi 중심의 손실이 정보 이론적 딥러닝 응용 분야로의 일반화 가능성을 입증하는 것.

제안 방법

• Rényi 교차 엔트로피 함수를 사용해 생성자 손실을 $\alpha$ 를 매개수로 정의한다.
• Rényi 분산을 GAN 프레임워크 내에서 Jensen-Shannon 분산의 자연스러운 확장으로 사용한다.
• 모든 $\alpha$ 에 대해 원래 GAN의 균형 조건이 유지됨을 증명한다.
• $\alpha \to 1$ 일 때 Rényi 손실이 원래 GAN 손실로 수렴함을 보여준다.
• 실증적 평가를 위해 DCGAN(일반화된 $L_1$ 정규화 포함) 및 StyleGAN 아키텍처에 손실을 적용한다.
• 이미지 품질 향상 정도를 정량적으로 측정하기 위해 Frechet Inception Distance(FID)를 사용한다.

실험 결과

연구 질문

• RQ1 Rényi 분산 기반의 손실 함수는 원래 GAN의 균형을 유지하면서도 향상된 학습 역학을 가능하게 할 수 있는가?
• RQ2 하이퍼파rameter $\alpha$ 는 GAN에서 생성된 이미지의 품질과 안정성에 어떤 영향을 미치는가?
• RQ3 Rényi 중심의 손실은 기존 GAN 대비 측정 가능한 FID 점수 향상을 이끌어낼 수 있는가?
• RQ4 제안된 손실은 정보 이론을 포함하는 다른 딥러닝 응용 분야로 일반화될 수 있는가?

주요 결과

• 제안된 Rényi GAN 손실은 $\alpha$ 의 임의의 값에 대해 원래 GAN의 균형점을 유지한다.
• Rényi 손실은 $\alpha$ 가 1에 수렴할수록 원래 GAN 손실로 수렴하므로 이전 버전과의 호환성이 보장된다.
• RenyiStyleGAN은 64×64 CelebA 이미지에서 FID 점수 8.33을 기록하여 표준 StyleGAN의 FID 9.7을 초월한다.
• 이 방법은 DCGAN 및 StyleGAN 아키텍처 전반에서 학습 안정성을 향상시킨다.
• $\alpha$ 가 제공하는 추가적인 자유도 덕분에 최적화가 향상되고 더 높은 품질의 이미지 생성이 가능해진다.