[논문 리뷰] JR-GAN: Jacobian Regularization for Generative Adversarial Networks.

Weili Nie, Ankit Patel|arXiv (Cornell University)|2018. 06. 24.

Model Reduction and Neural Networks참고 문헌 34인용 수 8

한 줄 요약

이 논문은 제너레이터의 양자화 행렬의 두 가지 핵심 임계 요인인 단위 요인(복소 고유값의 허수 대 실수 비율이 높은 경우)과 조건 수 요인(불량한 조건 수를 가진 양자화 행렬)을 동시에 완화함으로써 훈련을 안정화하는 새로운 GAN 훈련 방법인 JR-GAN을 제안한다. 두 요인을 동시에 다루는 정규화를 구축함으로써 JR-GAN은 매우 안정적인 훈련과 다양한 벤치마크에서 최첨단 성능을 달성한다.

ABSTRACT

Generative adversarial networks (GANs) are notoriously difficult to train and the reasons for their (non-)convergence behaviors are still not completely understood. Using a simple GAN example, we mathematically analyze the local convergence behavior of its training dynamics in a non-asymptotic way. We find that in order to ensure a good convergence rate two factors of the Jacobian should be extit{simultaneously} avoided, which are (1) Phase Factor: the Jacobian has complex eigenvalues with a large imaginary-to-real ratio, (2) Conditioning Factor: the Jacobian is ill-conditioned. Previous methods of regularizing the Jacobian can only alleviate one of these two factors, while making the other more severe. From our theoretical analysis, we propose the Jacobian Regularized GANs (JR-GANs), which insure the two factors are alleviated by construction. With extensive experiments on several popular datasets, we show that the JR-GAN training is highly stable and achieves near state-of-the-art results both qualitatively and quantitatively.

연구 동기 및 목표

• 비점근적 프레임워크에서 국소 훈련 역학을 분석함으로써 GAN의 수렴 불능 행동을 이해한다.
• GAN 훈련에서 수렴을 방해하는 두 가지 핵심 양자화 관련 요인인 위상과 조건 수를 특정한다.
• 기존 방법이 단 하나의 요인만 다루는 데에 그치는 것과는 달리, 두 요인을 동시에 완화할 수 있는 정규화 방법을 개발한다.
• 제안된 방법이 표준 데이터셋에서 안정적인 훈련과 최첨단 성능을 달성함을 보여준다.

제안 방법

• 이 방법은 제너레이터의 양자화 행렬의 위상 및 조건 수 요인을 명시적으로 제어할 수 있도록 설계된 새로운 양자화 정규화 항을 도입한다.
• 정규화는 양자화 행렬의 고유값이 허수 대 실수 비율과 조건 수 측면에서 잘 조절되도록 설계되어 있다.
• 정규화는 GAN 훈련 목표에 통합되어, 최적화 과정에서 유리한 양자화 성질을 유도하도록 제너레이터 손실을 수정한다.
• 이론적 분석을 통해 제안된 정규화가 스펙트럼 및 조건 수 성질을 동시에 제어함으로써 더 나은 국소 수렴 속도를 보장함을 보여준다.
• 아키텍처 변경 없이 표준 GAN 프레임워크에서 종단 간(end-to-end)으로 적용 가능하므로 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 GAN 훈련에서의 불안정성과 열악한 수렴을 유발하는 주요 양자화 성질은 무엇인가?
• RQ2 기존의 양자화 정규화 방법은 왜 GAN 훈련을 완전히 안정화하지 못하는가?
• RQ3 단일 정규화 전략이 양자화의 위상 및 조건 수 요인을 동시에 완화할 수 있는가?
• RQ4 제안된 정규화는 다양한 데이터셋에서 훈련 안정성과 생성 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 JR-GAN 방법은 제너레이터의 양자화 행렬의 위상 및 조건 수 요인을 동시에 제어함으로써 매우 안정적인 훈련 역학을 달성한다.
• 실험 결과, JR-GAN은 기존의 정규화 방법에 비해 훈련 안정성과 수렴 속도 측면에서 뛰어난 성능을 보였다.
• 다양한 벤치마크 데이터셋에서 JR-GAN은 거의 최첨단 수준의 Fréchet Inception Distance (FID) 점수를 달성하여 뛰어난 정량적 성능을 입증했다.
• 정성적 결과는 JR-GAN이 고해상도의 다양성 있는 샘플을 생성함으로써 모드 커버리지와 이미지 품질 향상을 확인시켰다.