[논문 리뷰] Smoothness and Stability in GANs

Casey Chu, Kentaro Minami외 1명|arXiv (Cornell University)|2020. 02. 11.

Model Reduction and Neural Networks참고 문헌 45인용 수 20

한 줄 요약

이 논문은 GAN 손실 함수의 미세함과 학습 안정성 간의 이론적 프레임워크를 수립하여, 경사하강법으로 생성자 학습이 정류점에 수렴하기 위해서는 손실 함수와 생성자 아키텍처가 특정한 미세함 조건을 만족해야 한다고 보여준다. 안정성에 필요한 조건을 유도하고, 일반적으로 사용되는 GAN 기법들인 기울기 페널티와 스펙트럼 정규화가 왜 효과적인지 설명하며, 모든 미세함 조건을 만족하는 새로운 GAN을 제안한다. 이는 재생 핵 힐버트 공간(RKHS)을 활용하여 개선된 안정성을 달성한다.

ABSTRACT

Generative adversarial networks, or GANs, commonly display unstable behavior during training. In this work, we develop a principled theoretical framework for understanding the stability of various types of GANs. In particular, we derive conditions that guarantee eventual stationarity of the generator when it is trained with gradient descent, conditions that must be satisfied by the divergence that is minimized by the GAN and the generator's architecture. We find that existing GAN variants satisfy some, but not all, of these conditions. Using tools from convex analysis, optimal transport, and reproducing kernels, we construct a GAN that fulfills these conditions simultaneously. In the process, we explain and clarify the need for various existing GAN stabilization techniques, including Lipschitz constraints, gradient penalties, and smooth activation functions.

연구 동기 및 목표

• 정규화 기법이 널리 사용됨에도 불구하고 GAN 학습 불안정성의 이론적 비밀을 밝히는 것.
• 경사하강법 하에서 정류점으로 수렴하기 위해 필요한 손실 함수와 생성자 아키텍처의 정밀한 미세함 조건을 규명하는 것.
• 기존의 안정화 기법들—기울기 페널티와 스펙트럼 정규화—를 하나의 이론적 프레임워크 안에서 통합하고 설명하는 것.
• 유도된 모든 미세함 조건을 만족하는 새로운 GAN 버전을 구축하여 안정적인 학습을 보장하는 것.

제안 방법

• GAN 학습을 생성자의 목적 함수 $ J(\mu_\theta) = \sup_\varphi \mathcal{J}(\mu_\theta, \varphi) $ 에 대한 경사하강법으로 공식화하여, 최소최대 문제를 단일 최적화 문제로 환원한다.
• 볼록 해석학과 최적 운반 이론의 도구를 적용하여 $ J(\mu_\theta) $ 가 $ L $-미세함을 만족할 충분한 조건을 도출함으로써, 경사하강법의 안정성을 보장한다.
• 가우시안 커널을 사용한 재생 핵 힐버트 공간(RKHS)을 활용해 모든 미세함 조건을 만족하는 손실 함수를 구성함으로써, 이론적 수렴 보장을 가능하게 한다.
• 생성자의 출력 분포가 RKHS 노름을 통해 페널티를 받는 정규화된 GAN 목적 함수를 도입하여, 생성자의 매개변수화에서의 미세함을 강제한다.
• RKHS 노름 페널티의 볼록 쌍대를 유도하여, 실용적인 최적화와 이론적 분석을 가능하게 한다.
• 수치적 안정성과 이론적 취급 용이성을 확보하기 위해 차원에 의존하지 않는 커널 $ K(x,y) = e^{-\pi \|x-y\|^2} $ 을 제안한다.

실험 결과

연구 질문

• RQ1 경사하강법이 정류점으로 수렴하기 위해 필요한 최소한의 손실 함수와 생성자 아키텍처의 미세함 조건는 무엇인가?
• RQ2 기울기 페널티와 스펙트럼 정규화와 같은 일반적인 GAN 정규화 기법들이 목적 함수가 겹치는 바에도 불구하고 왜 학습 안정성을 향상시키는가?
• RQ3 모든 유도된 미세함 조건을 만족하는 GAN을 구성할 수 있는가? 이를 통해 안정적인 학습을 보장할 수 있는가?
• RQ4 WGAN과 스펙트럼 정규화를 적용한 기존 GAN 변종들은 제안된 미세함 프레임워크와 어떻게 관련이 있는가?

주요 결과

• 표준 GAN 손실 함수들, WGAN과 표준 GAN을 포함하여 대부분이 안정적인 경사하강법을 보장하기 위해 필요한 모든 미세함 조건을 충족하지 못함을 보여주며, 이는 그들의 경험적 불안정성에 대한 설명이 된다.
• RKHS 기반 페널티를 적용한 제안된 GAN은 완전한 미세함을 확보하여, 생성자에 대한 경사하강법이 정류점으로 수렴함을 보장한다.
• 기울기 페널티와 스펙트럼 정규화가 효과적인 이유는 안정성에 필요한 미세함 조건을 강제하기 때문이며, 이는 이들 기법들의 효과를 통합적으로 설명하는 이론적 근거를 제공한다.
• 부드러운 활성화 함수의 사용은 이론적으로 정당화되며, 생성자의 출력 분포의 미세함을 유지하는 데 기여한다.
• 스펙트럼 정규화와 기울기 페널티를 동시에 적용할 경우, 각각을 별도로 적용하는 것보다 더 효과적임을 보여주며, 이는 서로 다른 미세함 조건의 구성 요소를 함께 강제하기 때문이다.
• 가우시안 커널의 경우 수치적 안정성과 이론적 일관성을 확보하기 위해 $ \sigma = (2\pi)^{-1/2} $ 를 권장한다.