[논문 리뷰] A Closer Look at the Optimization Landscapes of Generative Adversarial Networks

Hugo Berard, Gauthier Gidel외 3명|arXiv (Cornell University)|2019. 06. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 17

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)의 게임 벡터장 분석을 위한 새로운 시각화 기법인 Path-angle을 소개하며, 학습 동역학이 국소적으로 안정된 정적점(LSSPs) 주위에서 상당한 회전 운동을 보임을 드러낸다. 국소 나이시 균형에 수렴하지는 않지만, GANs는 생성자 손실 표면의 안장점에 도달함으로써 높은 성능을 달성한다. 이는 좋은 생성 결과를 얻기 위해 나이시 균형이 반드시 필요하지 않음을 시사한다.

ABSTRACT

Generative adversarial networks have been very successful in generative modeling, however they remain relatively challenging to train compared to standard deep neural networks. In this paper, we propose new visualization techniques for the optimization landscapes of GANs that enable us to study the game vector field resulting from the concatenation of the gradient of both players. Using these visualization techniques we try to bridge the gap between theory and practice by showing empirically that the training of GANs exhibits significant rotations around Local Stable Stationary Points (LSSP), similar to the one predicted by theory on toy examples. Moreover, we provide empirical evidence that GAN training converge to a stable stationary point which is a saddle point for the generator loss, not a minimum, while still achieving excellent performance.

연구 동기 및 목표

• 이론적으로 예측된 GANs 내의 회전 운동 동역학과 실제 학습 환경에서의 경험적 관찰 사이의 격차를 메우기 위해.
• MNIST 및 CIFAR10과 같은 데이터셋에서 실세계 GAN 학습에서 국소적으로 안정된 정적점(LSSPs) 주위의 회전 행동이 실제로 발생하는지 조사하기 위해.
• 기존 GAN 학습 방법이 국소 나이시 균형에 수렴하는지, 아니면 생성자 손실 표면의 안장점에 수렴하는지 판단하기 위해.
• 다양한 GAN 목표함수(예: NSGAN 대비 WGAN-GP)가 최적화 표면의 기하학적 특성에 어떻게 영향을 주고, 학습 안정성에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 고차원 GAN 최적화에서 정적점 주변의 회전 및 유인 행동을 캡처함으로써 게임 벡터장을 분석하기 위해 새로운 시각화 도구인 Path-angle을 제안한다.
• 생성자 및 판별자의 기울기 연결을 사용하여 게임 벡터장을 경험적으로 연구하며, 국소 안정성과 회전 운동 동역학에 초점을 맞춘다.
• 수렴점에서 양 측의 헤시안 고유값을 분석하여 해가 국소 최소값, 안장점, 또는 국소 나이시 균형인지 평가한다.
• 다양한 GAN 아키텍처(예: NSGAN, WGAN-GP), 최적화 방법(예: Adam, ExtraAdam), 그리고 데이터셋(예: 가우시안 혼합, MNIST, CIFAR10)에 걸쳐 이 방법을 적용한다.
• 전체 스펙트럼 계산 없이도 확장 가능한 고유값의 상위 k개(크기 기준)를 사용하여 국소 기하학을 추론함으로써 깊은 네트워크에 적용 가능하게 한다.
• 다양한 GAN 목표함수에 대해 생성자 및 판별자의 헤시안 고유값 분포를 비교하여 날카움과 정규화 효과를 평가한다.

실험 결과

연구 질문

• RQ1 테이터 예제에서 이론적으로 예측된 게임 벡터장의 회전 행동이 실세계 데이터셋에서의 GAN 학습 과정에서도 실제로 발생하는가?
• RQ2 표준 GAN 학습 절차는 국소 나이시 균형에 수렴하는가, 아니면 생성자 손실 표면의 안장점에 도달하는가?
• RQ3 다양한 GAN 목표함수(예: NSGAN 대비 WGAN-GP)는 최적화 표면의 기하학적 특성, 특히 회전 운동 동역학과 해의 날카움에 어떤 영향을 미치는가?
• RQ4 고품질 생성 성능을 얻기 위해 국소 나이시 균형에 수렴하는 것이 필수적인가?

주요 결과

• GAN 학습은 국소적으로 안정된 정적점(LSSPs) 주위에서 상당한 회전 운동을 보이며, 이는 이론적 예측이 실제 고차원 설정에서 확인됨을 확인한다.
• 평가 지표에서 높은 성능(예: WGAN-GP에서 MNIST에서 IS = 9.46)을 달성함에도 불구하고, 생성자는 손실 표면에서 국소 최소값이 아니라 안장점에 수렴한다.
• NSGAN의 판별자는 WGAN-GP보다 훨씬 큰 양의 헤시안 고유값을 가지며, 이는 더 날카로운 최소값을 의미하며, WGAN-GP의 기울기 페널티에 의해 완화된다.
• WGAN-GP는 헤시안의 복소 고유값 분포가 더 균형 잡혀 있으며, 허수축의 오른쪽 반쪽으로 퍼져 있는 경향이 있어 NSGAN보다 더 안정된 동역학을 나타낸다.
• 수렴 시 생성자 손실 표면의 고유값은 주로 음수로 구성되어 있어, 이 해가 국소 최소값이 아니라 안장점임을 확인한다.
• 이러한 발견들은 국소 나이시 균형에 수렴하는 것이 고품질 생성을 위한 필수 조건이 아니며, 회전 운동 동역학이 GAN 최적화의 핵심 과제임을 시사한다.