[논문 리뷰] Towards a Better Understanding and Regularization of GAN Training Dynamics

Weili Nie, Ankit Patel|arXiv (Cornell University)|2018. 06. 24.

Model Reduction and Neural Networks참고 문헌 30인용 수 14

한 줄 요약

이 논문은 GAN의 학습 동역학에서 발생하는 두 가지 핵심 불안정성 요인인 단위상 인자(복소수 고유값의 허수부 대 실수부 비율이 높은 경우)와 조건화 인자(불량한 조건을 가진 자코비안)를 동시에 완화하는 새로운 자코비안 정규화 방법인 JARE를 제안한다. 이 두 요인을 함께 다룸으로써 JARE는 수렴 안정성과 샘플 품질을 향상시켜, CIFAR-10, CelebA, ImageNet에서 모드 붕괴 없이 현실적이고 다양한 이미지를 생성하는 데 있어 이전 방법들을 능가한다.

ABSTRACT

Generative adversarial networks (GANs) are notoriously difficult to train and the reasons underlying their (non-)convergence behaviors are still not completely understood. By first considering a simple yet representative GAN example, we mathematically analyze its local convergence behavior in a non-asymptotic way. Furthermore, the analysis is extended to general GANs under certain assumptions. We find that in order to ensure a good convergence rate, two factors of the Jacobian in the GAN training dynamics should be simultaneously avoided, which are (i) the Phase Factor, i.e., the Jacobian has complex eigenvalues with a large imaginary-to-real ratio, and (ii) the Conditioning Factor, i.e., the Jacobian is ill-conditioned. Previous methods of regularizing the Jacobian can only alleviate one of these two factors, while making the other more severe. Thus we propose a new JAcobian REgularization (JARE) for GANs, which simultaneously addresses both factors by construction. Finally, we conduct experiments that confirm our theoretical analysis and demonstrate the advantages of JARE over previous methods in stabilizing GANs.

연구 동기 및 목표

• 비점근 설정에서의 GAN 학습 동역학에서의 악성 수렴의 근본 원인을 규명하고 분석하는 것.
• 기존 정규화 기법이 한 요인은 개선하면서 다른 요인을 악화시킴으로써 GAN을 안정화시키지 못하는 이유를 이해하는 것.
• GAN 학습 자코비안의 단위상 인자와 조건화 인자를 동시에 완화할 수 있는 통합 정규화 방법을 개발하는 것.
• 다양한 데이터셋(CIFAR-10, CelebA, ImageNet)에서의 실증 실험을 통해 이론적 분석을 검증하는 것.
• JARE가 다양한 벤치마크에서 모드 붕괴 없이 안정적이고 고품질의 GAN 학습을 가능하게 하는지 보여주는 것.

제안 방법

• 균형점 근처에서 자코비안의 고유값을 분석함으로써 GAN의 비점근 국소 수렴성을 분석한다.
• 두 가지 불안정성 요인을 규명한다: 단위상 인자(허수부 대 실수부 비율이 큰 복소수 고유값)와 조건화 인자(불량한 조건을 가진 자코비안).
• 학습 중 자코비안의 단위상과 조건화를 명시적으로 제약하는 새로운 정규화 기법인 JARE(Jacobian REgularization)를 제안한다.
• 자코비안의 스펙트럼 특성에 대한 페널티를 포함하도록 기존의 기울기 갱신 규칙을 수정함으로써 JARE를 표준 GAN 학습 루프에 통합한다.
• 고유값의 허수부 대 실수부 비율과 자코비안의 조건수를 모두 페널티 처리하는 매개변수화된 정규화 항을 활용한다.
• 표준 하이퍼파rameter와 아키텍처 변형을 사용하여 ResNet 기반 생성자 및 구분자에서 CIFAR-10, CelebA, ImageNet에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 비점근 설정에서 GAN 학습의 악성 수렴을 유발하는 주요 역학적 요인은 무엇인가?
• RQ2 기존 자코비안 정규화 방법은 자코비안의 한 요소를 개선함으로써 GAN을 안정화시키지 못하는 이유는 무엇인가?
• RQ3 단일 정규화 방법이 GAN 자코비안의 단위상 인자와 조건화 인자를 동시에 완화할 수 있는가?
• RQ4 제안된 JARE 방법은 이전 최첨단 방법 대비 더 빠른 수렴과 더 나은 샘플 품질을 제공하는가?
• RQ5 JARE는 모드 붕괴나 학습 붕괴 없이 ImageNet과 같은 복잡한 데이터셋에서 GAN 학습을 안정화시킬 수 있는가?

주요 결과

• 허수부 대 실수부 비율이 큰 복소수 고유값을 특징으로 하는 단위상 인자는 수렴 속도를著しく 저하시키고 학습을 불안정하게 만든다.
• 불량한 조건을 가진 자코비안에 기인한 조건화 인자 역시 열악한 수렴 속도와 수치적 불안정성을 초래한다.
• 스펙트럼 정규화나 공감 최적화와 같은 기존 정규화 방법은 한 요인만 완화하면서 다른 요인을 악화시킨다.
• JARE는 자코비안의 허수부 대 실수부 비율과 조건수를 모두 감소시켜 더 빠르고 안정적인 수렴을 이끌어낸다.
• CIFAR-10에서 JARE는 여섯 가지 실험 설정 전반에서 표준 GAN, SN-GAN, ConOpt이 실패하는 바에 걸쳐 현실적이고 다양한 샘플을 생성한다.
• CelebA와 ImageNet에서 JARE는 비지도 학습 방식으로 고품질이고 다양한 얼굴 및 물체 이미지를 생성하여 고해상도의 복잡한 데이터에 대한 강건성을 입증한다.