[논문 리뷰] Understanding and Stabilizing GANs' Training Dynamics with Control Theory

Kun Xu, Chongxuan Li외 2명|arXiv (Cornell University)|2019. 09. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 7

한 줄 요약

이 논문은 제어 이론을 기반으로 한 CLC-GAN을 제안하며, 생성적 적대적 네트워크(GAN)의 학습을 안정화시키기 위해 폐쇄형 제어(CLC)를 분류기 출력에 L2 정규화로 적용함으로써, 스펙트럼 정규화 없이 CIFAR10에서 최고 성능(FID 23, IS 8.45+)을 달성하고, 학습 효율성과 하이퍼파rameter에 대한 강건성 또한 향상시킨다.

ABSTRACT

Generative adversarial networks (GANs) are effective in generating realistic images but the training is often unstable. There are existing efforts that model the training dynamics of GANs in the parameter space but the analysis cannot directly motivate practically effective stabilizing methods. To this end, we present a conceptually novel perspective from control theory to directly model the dynamics of GANs in the function space and provide simple yet effective methods to stabilize GANs' training. We first analyze the training dynamic of a prototypical Dirac GAN and adopt the widely-used closed-loop control (CLC) to improve its stability. We then extend CLC to stabilize the training dynamic of normal GANs, where CLC is implemented as a squared $L2$ regularizer on the output of the discriminator. Empirical results show that our method can effectively stabilize the training and obtain state-of-the-art performance on data generation tasks.

연구 동기 및 목표

• GAN 학습의 불안정성으로 인해 최적화 과정에서 발산이나 진동 현상이 자주 발생하는 문제를 해결하기 위해.
• 경험적 정규화를 넘어서 이론적으로 탄탄하고 실용적으로 효과적인 GAN 안정화 방법을 개발하기 위해.
• 기능 공간의 동역학을 모델링하고 피드백 제어 원리를 적용함으로써 제어 이론과 GAN 학습 동역학을 연결하기 위해.
• 더 빠른 수렴 속도와 계산 효율성을 확보하면서도 최고 수준의 이미지 생성 성능을 달성하기 위해.

제안 방법

• 제어 이론, 특히 폐쇄형 제어(클로즈드-루프 컨트롤, CLC)를 활용하여 기능 공간에서 GAN 학습 동역학을 모델링하여 학습 안정성을 향상시키기 위해.
• 분류기 출력에 CLC를 제곱형 L2 정규화 기법으로 적용하여 큰 활성화를 억제하고 안정성을 향상시키기 위해.
• 라플라스 변환을 사용하여 원형 디라크 GAN의 주파수 도메인 동역학을 분석함으로써 이론적 안정성 보장을 가능하게 하기 위해.
• 기능 공간 동역학의 국소 선형화를 통해 선형 디라크 GAN에서 비선형 일반 GAN으로 CLC 프레임워크를 확장하기 위해.
• 비용이 많이 들거나 기울기 페널티나 정규화 기반 아키텍처에 의존하는 추가적인 계산 부담 없이, 최소한의 계산 오버헤드로 CLC-GAN을 구현하기 위해.
• SN-GAN을 포함한 다양한 GAN 목표함수와 아키텍처에 CLC를 통합하여 일반화 능력과 강건성을 입증하기 위해.

실험 결과

연구 질문

• RQ1 제어 이론이 기능 공간에서 GAN 학습 동역학을 이해하고 안정화시키는 원칙적인 프레임워크를 제공할 수 있는가?
• RQ2 기존의 정규화 방법과 비교했을 때 폐쇄형 제어(CL)가 GAN의 안정성에 어떻게 기여하는가?
• RQ3 선형 디라크 GAN에서 비선형 실용적 GAN으로 CLC를 효과적으로 일반화할 수 있는가?
• RQ4 CLC-GAN은 다양한 아키텍처와 목표함수에서 학습 효율성, 수렴 속도, 이미지 생성 품질에 어떤 영향을 미치는가?
• RQ5 특히 배치 정규화나 스펙트럼 정규화와 함께 사용할 경우, 정규화 강도 λ와 같은 하이퍼파rameter에 대해 CLC-GAN은 얼마나 민감한가?

주요 결과

• CLC-GAN은 CIFAR10에서 FID 23의 최고 성능을 기록하며, Reg-GAN(FID 28) 대비 5점 향상된 결과를 달성했다.
• CLC-GAN은 스펙트럼 정규화 없이도 다양한 목표함수에서 CIFAR10에서 인ception 스코어(IS)가 8.45를 초과하여 이전 최고 성능 GAN을 능가했다.
• CLC-GAN은 CelebA에서 약 8회/초의 속도로 학습되며, 동일 하드웨어에서 Reg-GAN이 기록한 4회/초보다 빠른 성능을 보였다.
• CLC-GAN은 다양한 아키텍처와 목표함수에서 강력한 성능 유지를 보였으며, 대부분의 기울기 기반 정규화가 성능 향상을 이룰 수 없는 SN-GAN에서도 마찬가지로 뛰어난 성능을 기록했다.
• CLC-GAN은 하이퍼파rameter λ에 대해 강건하다: 배치 정규화를 사용할 경우 λ = 2, 5, 10 모두 최고 성능의 IS를 달성하였고, 스펙트럼 정규화를 사용할 경우 λ = 0.1, 0.05, 0.2 모두 힌지 손실에서 IS > 8.4를 달성하였다.
• CLC-GAN에서 생성된 샘플은 의미적으로 유의미하며, 강력한 베이스라인과 경쟁 가능한 수준의 품질을 보였다. CIFAR10 및 CelebA에서의 정성적 결과를 통해 이를 입증하였다.