[논문 리뷰] Is Generator Conditioning Causally Related to GAN Performance?

Augustus Odena, Jacob Buckman외 5명|arXiv (Cornell University)|2018. 02. 23.

Model Reduction and Neural Networks참고 문헌 30인용 수 50

한 줄 요약

본 논문은 GAN 생성기의 야곱시안(Jacobian) 조건화가 Inception Score와 FID와 상관관계가 있음을 보여주고, GAN 성능을 개선하고 안정화하기 위한 Jacobian Clamping을 제안한다.

ABSTRACT

Recent work (Pennington et al, 2017) suggests that controlling the entire distribution of Jacobian singular values is an important design consideration in deep learning. Motivated by this, we study the distribution of singular values of the Jacobian of the generator in Generative Adversarial Networks (GANs). We find that this Jacobian generally becomes ill-conditioned at the beginning of training. Moreover, we find that the average (with z from p(z)) conditioning of the generator is highly predictive of two other ad-hoc metrics for measuring the 'quality' of trained GANs: the Inception Score and the Frechet Inception Distance (FID). We test the hypothesis that this relationship is causal by proposing a 'regularization' technique (called Jacobian Clamping) that softly penalizes the condition number of the generator Jacobian. Jacobian Clamping improves the mean Inception Score and the mean FID for GANs trained on several datasets. It also greatly reduces inter-run variance of the aforementioned scores, addressing (at least partially) one of the main criticisms of GANs.

연구 동기 및 목표

• 생성기의 Jacobian를 통해 GAN 학습 역학에 대한 이해를 촉진한다.
• 야곱시안 조건화와 확립된 GAN 품질 지표(Inception Score 및 FID) 간의 관계를 조사한다.
• Jacobian conditioning을 제어하기 위한 인과적 개입을 제안하고 GAN 성능에 미치는 영향을 평가한다.

제안 방법

• 생성기의 Jacobian J_z의 제곱 특이값의 분포를 z에 걸쳐 계산한다.
• 로컬 기하와 조건화를 요약하는 지표로 M_z = J_z^T J_z의 조건수(condition number)를 사용한다.
• MNIST, CIFAR-10, STL-10에서 평균 로그 조건수와 Inception Score 및 FID 사이의 경험적 상관관계를 조사한다.
• 학습 중 Jacobian conditioning을 제약하기 위한 Jacobian Clamping을 제안하고 구현한다.
• Jacobian Clamping을 사용한 경우와 사용하지 않은 경우의 GAN 실행을 비교해 개입 연구를 수행한다.
• 다른 GAN 기법 및 설정과의 상호작용에서 Jacobian Clamping의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 생성기 Jacobian 조건화가 데이터셋에 걸쳐 Inception Score와 FID와 상관관계가 있는가?
• RQ2 생성기 조건화를 개선하는 것이 인과적으로 GAN 성능을 향상시킨다는 증거가 있는가?
• RQ3 간단한 정규화(Jacobian Clamping)가 조건화를 제약하고 학습 실행 간 점수 분산을 줄일 수 있는가?

주요 결과

• 생성기 Jacobian 조건화는 일반적으로 학습 초기 단계에서 악조건화되기 쉬워진다.
• 더 강한 조건화는 MNIST, CIFAR-10, STL-10 전반에서 더 높은 Inception Score와 더 낮은 FID와 상관관계가 있다.
• Jacobian Clamping은 실행 간 분산을 줄이고 여러 데이터셋에서 평균 Inception Score와 평균 FID를 향상시킨다.
• Jacobian Clamping은 많은 실행이 악조건화된 클러스터에 진입하는 것을 방지하고 종종 더 나은 점수를 보존한다.
• 개입은 조건화와 GAN 성능 사이의 인과 관계를 뒷받침하는 증거를 제공한다.
• Jacobian Clamping은 비슷한 점수로 더 적은 판별기 업데이트를 가능하게 하여 최첨단 모델의 속도를 높일 수 있다.