[논문 리뷰] Solving Approximate Wasserstein GANs to Stationarity.

Maziar Sanjabi, Jimmy Ba외 2명|arXiv (Cornell University)|2018. 02. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 15

한 줄 요약

이 논문은 비연속적인 워샤프스키 GAN 목적함수의 매끄러운 근사치를 제안하여, 보장된 수렴성을 갖는 1차 최적화 방법을 효율적으로 적용할 수 있도록 한다. 원래의 비연속 손실 대신 미분 가능한 대체 손실을 사용함으로써 학습을 단순화하고, 적대적으로 학습된 잠재 표현 기반의 복잡한 비용 함수를 효과적으로 활용할 수 있으며, 강력한 이론적 보장을 유지한다.

ABSTRACT

Generative Adversarial Networks (GANs) are one of the most practical strategies to learn data distributions. A popular GAN formulation is based on the use of Wasserstein distance as a metric between probability distributions. Unfortunately, minimizing the Wasserstein distance between the data distribution and the generative model distribution is a challenging problem as its objective is non-convex, non-smooth, and even hard to compute. In this work, we propose to use a smooth approximation of the Wasserstein GANs. We show that this smooth approximation is close to the original objective. Moreover, obtaining gradient information of this approximate formulation is computationally effortless and hence one can easily apply first order optimization methods to optimize this objective. Based on this observation, we proposed a class of algorithms with guaranteed theoretical convergence to stationarity. Unlike the original non-smooth objective, our proposed algorithm only requires solving the discriminator to approximate optimality. We applied our method to learning Gaussian mixtures on a grid and also to learning MNIST digits. Our method allows the use of powerful cost functions based on latent representations of the data, where this latent representation could also be optimized adversarially.

연구 동기 및 목표

• 비연속적이며 비볼록적인 워샤프스키 GAN 목적함수를 최소화하는 데 발생하는 계산 및 이론적 과제를 해결하기 위해.
• 1차 최적화 기반의 최적화를 가능하게 하는 워샤프스키 GAN 손실의 미분 가능한 근사치를 개발하기 위해.
• 1차 최적화 기반의 방법에서 정류점으로의 수렴을 보장하기 위해.
• 학습된 잠재 표현 기반의 강력하고 복잡한 비용 함수를 생성 모델에 효과적으로 적용하기 위해.
• 학습 안정성을 유지하면서도 잠재 표현에 대한 적대적 최적화를 가능하게 하기 위해.

제안 방법

• 원래의 비연속적인 워샤프스키 GAN 목적함수의 매끄러운 근사치를 제안하기 위해.
• 이 매끄러운 대체 함수를 사용하여 표준 역전파를 통한 기울기 계산을 용이하게 하기 위해.
• 근사 목적함수에 대해 1차 최적화 방법을 적용하여 정류점으로의 수렴을 보장하기 위해.
• 판별자에 대해 정확한 최적화가 아닌 근사 최적화만 요구함으로써 생성자와 판별자의 학습을 분리하기 위해.
• 잠재 공간 비용 함수를 목적함수에 통합하여 표현의 적대적 학습을 가능하게 하기 위해.
• 새로운 목적함수의 매끄러움과 미분 가능성에 기반하여 이론적 수렴 보장을 확보하기 위해.

실험 결과

연구 질문

• RQ1 비연속적인 워샤프스키 GAN 목적함수의 매끄러운 근사치가 효율적이고 안정적인 학습을 가능하게 할 수 있는가?
• RQ2 제안된 매끄러운 목적함수는 1차 최적화 방법을 사용할 때 정류점으로의 보장된 수렴을 가능하게 하는가?
• RQ3 학습된 잠재 표현 기반의 복잡한 비용 함수를 학습 과정에 효과적으로 통합할 수 있는가?
• RQ4 표본 품질과 학습 안정성 측면에서 매끄러운 근사치의 성능은 원래의 비연속적인 워샤프스키 GAN과 비교해 어떻게 되는가?
• RQ5 학습 수렴성을 떨어뜨리지 않으면서도 잠재 표현을 얼마나 적극적으로 적대적으로 최적화할 수 있는가?

주요 결과

• 워샤프스키 GAN 목적함수의 매끄러운 근사치는 원래의 비연속적 형태와 이론적으로 유사하며, 바람직한 분포 거리 측정 성질을 유지한다.
• 근사 목적함수의 기울기 계산은 계산적으로 매우 간편하여 1차 최적화 알고리즘의 효율적 사용이 가능하다.
• 기존의 비연속적 형태와 달리, 표준 1차 최적화 방법에서 정류점으로의 수렴을 보장한다.
• 학습된 잠재 표현 기반의 복잡한 비용 함수를 효과적으로 활용할 수 있으며, 이러한 표현의 적대적 최적화도 가능하다.
• 가우시안 혼합모형과 MNIST에 대한 실험 결과는 제안된 방법이 안정적인 학습과 고품질의 표본 생성을 가능하게 함을 보여준다.
• 비틀린 비용 함수를 사용하더라도 MNIST에서 경쟁적인 성능을 달성하면서도 이론적 수렴 성질을 유지한다.