[논문 리뷰] Towards a Better Global Loss Landscape of GANs

Ruoyu Sun, Tiantian Fang외 1명|arXiv (Cornell University)|2020. 11. 10.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

이 논문은 GAN의 전역 손실 곡면을 분석하여, 분리 가능한 GANs(예: JS-GAN 포함)가 모드 붕괴에 해당하는 지수적으로 많은 열악한 국소 최소값을 가짐을 증명한다. 반면, 상대성 페어링 GANs(RpGAN)는 이러한 악성 골짜기를 제거하여 더 우수한 최적화 곡면을 제공함을 보이며, 좁은 네트워크를 사용한 합성 및 실제 이미지 생성 실험을 통해 이를 실증적으로 검증한다.

ABSTRACT

Understanding of GAN training is still very limited. One major challenge is its non-convex-non-concave min-max objective, which may lead to sub-optimal local minima. In this work, we perform a global landscape analysis of the empirical loss of GANs. We prove that a class of separable-GAN, including the original JS-GAN, has exponentially many bad basins which are perceived as mode-collapse. We also study the relativistic pairing GAN (RpGAN) loss which couples the generated samples and the true samples. We prove that RpGAN has no bad basins. Experiments on synthetic data show that the predicted bad basin can indeed appear in training. We also perform experiments to support our theory that RpGAN has a better landscape than separable-GAN. For instance, we empirically show that RpGAN performs better than separable-GAN with relatively narrow neural nets. The code is available at https://github.com/AilsaF/RS-GAN.

연구 동기 및 목표

• GAN의 전역 최적화 곡면을 이해하고, 특히 모드 붕괴의 원인을 밝히는 것.
• 기존의 JS-GAN 및 관련 분리 가능한 GANs가 손실 곡면에서 열악한 국소 최소값을 가지는지 분석하는 것.
• 상대성 페어링 GANs(RpGAN)가 이러한 문제적 골짜기를 제거하는지 조사하는 것.
• 이론적 발견을 합성 및 실제 데이터셋에 대한 실증 실험을 통해 검증하는 것.
• RpGAN의 향상된 곡면이 더 나은 성능으로 이어지는지, 특히 좁은 네트워크에서 확인하는 것.

제안 방법

• 분리 가능한 GANs(예: JS-GAN, 힌지 손실, 최소 제곱 GANs 포함)의 경험적 손실 곡면에 대한 이론적 분석.
• 분리 가능한 GANs가 각각 모드 붕괴 시나리오에 해당하는 지수적으로 많은 엄격한 국소 최소값을 가짐을 증명.
• RpGAN의 형식적 분석을 통해, 실수 및 생성 샘플을 결합하는 상대성 페어링 메커니즘이 있기 때문에 악성 골짜기가 존재하지 않음을 보여줌.
• 예측된 악성 골짜기가 훈련 동안 나타나는지 관찰하기 위한 합성 실험 설계.
• 채널 스케일링이 다양한 CNN 및 ResNet 아키텍처를 사용한 CIFAR-10, STL-10, LSUN 데이터셋에 대한 실증적 평가.
• 같은 훈련 설정에서 RpGAN과 분리 가능한 GANs를 비교하며, 좁은 네트워크에서의 일반화 능력과 훈련 안정성에 중점을 둔다.

실험 결과

연구 질문

• RQ1 기존의 JS-GAN은 전역적으로 잘 조율된 손실 곡면을 가지는가, 아니면 지수적으로 많은 열악한 국소 최소값이 존재하는가?
• RQ2 RpGAN의 상대성 페어링 메커니즘이 이러한 악성 골짜기를 제거하고 전역 최적화 곡면을 향상시킬 수 있는가?
• RQ3 RpGAN에서 악성 골짜기가 존재하지 않는다는 이론적 예측이 실제 훈련 행동에 그대로 나타나는가?
• RQ4 RpGAN이 좁은 신경망을 사용할 때 훈련 안정성과 샘플 품질 면에서 분리 가능한 GANs를 능가하는가?
• RQ5 RpGAN의 향상된 곡면이 더 나은 일반화와 생성 샘플의 다양성에 기여하는가?

주요 결과

• 분리 가능한 GANs(예: JS-GAN 포함)는 각각 모드 붕괴 시나리오에 해당하는 지수적으로 많은 엄격한 국소 최소값을 손실 곡면에 가짐.
• RpGAN는 상대성 페어링 메커니즘이 실수 및 생성 샘플을 결합함으로써 이론적 분석을 통해 악성 골짜기가 존재하지 않음을 증명함.
• 합성 실험을 통해 예측된 악성 골짜기가 실제로 분리 가능한 GANs의 훈련 과정에서 발생하는 것으로 확인됨.
• 실증 결과로 RpGAN가 CIFAR-10 및 STL-10에서 분리 가능한 GANs를 능가함을 보이며, 특히 좁은 네트워크에서 이론적 분석과 일치함.
• RpGAN의 향상된 곡면은 제한된 모델 용량에서도 더 안정적인 훈련과 더 나은 샘플 다양성을 이끌어냄.
• 코드와 실험 설정이 공개되어 있어 재현 가능성이 보장되며, 표준 GANs와의 추가 벤치마킹이 가능함.