[논문 리뷰] GANs May Have No Nash Equilibria

Farzan Farnia, Asuman Ozdaglar|arXiv (Cornell University)|2020. 02. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 25

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)가 생성자 모델이 실현 가능하지 않을 경우 최소최대 최적화에서 국소적 내쉬 균형이 존재하지 않을 수 있음을 보여준다. 이를 해결하기 위해 저자는 원거리 균형이라는 새로운 균형 개념을 제안한다. 이는 GAN 목적함수에 원거리 연산자를 적용하여 유도된 개념이며, 워샤프스키 GAN에서 최적의 생성자에 대해 존재함을 증명하고, 표준 GAN 최적화의 안정적 대안으로 원거리 학습을 제안한다.

ABSTRACT

Generative adversarial networks (GANs) represent a zero-sum game between two machine players, a generator and a discriminator, designed to learn the distribution of data. While GANs have achieved state-of-the-art performance in several benchmark learning tasks, GAN minimax optimization still poses great theoretical and empirical challenges. GANs trained using first-order optimization methods commonly fail to converge to a stable solution where the players cannot improve their objective, i.e., the Nash equilibrium of the underlying game. Such issues raise the question of the existence of Nash equilibrium solutions in the GAN zero-sum game. In this work, we show through several theoretical and numerical results that indeed GAN zero-sum games may not have any local Nash equilibria. To characterize an equilibrium notion applicable to GANs, we consider the equilibrium of a new zero-sum game with an objective function given by a proximal operator applied to the original objective, a solution we call the proximal equilibrium. Unlike the Nash equilibrium, the proximal equilibrium captures the sequential nature of GANs, in which the generator moves first followed by the discriminator. We prove that the optimal generative model in Wasserstein GAN problems provides a proximal equilibrium. Inspired by these results, we propose a new approach, which we call proximal training, for solving GAN problems. We discuss several numerical experiments demonstrating the existence of proximal equilibrium solutions in GAN minimax problems.

연구 동기 및 목표

• 생성자가 실현 가능하지 않은 조건에서 GAN 최소최대 게임에 내쉬 균형이 존재하는지 조사하기.
• GAN의 1차 최적화에서의 불안정성을 해결하기 위해 더 적합한 균형 개념을 식별하기.
• GAN의 순차적 이동 구조를 반영하는 새로운 균형 개념인 원거리 균형을 제안하기.
• 원거리 균형을 기반으로 한 학습 방법인 원거리 학습을 개발하여 수렴성과 안정성을 향상시키기.
• 표준 GAN 형식에서 원거리 균형의 존재를 이론적·실험적으로 검증하기.

제안 방법

• 기존 GAN 최소최대 목적함수에 원거리 연산자를 적용하여 새로운 0-합 게임을 정의한다: $ V^{\text{prox}}(G,D) = \max_{\widetilde{D}} V(G,\widetilde{D}) - \|\widetilde{D} - D\|^2 $.
• 이 새로운 게임의 내쉬 균형으로서 원거리 균형을 도입하며, 이는 GAN 학습의 순차적 성격(생성자 먼저, 그 다음 판별자)을 더 잘 반영한다.
• 적절한 조건 하에서 제1·제2차 워샤프스키 GAN의 최적 생성자가 원거리 균형을 달성함을 증명한다.
• 원거리 항을 포함하도록 원래 최소최대 목적함수를 수정하여 원거리 학습을 제안함으로써 최적화 중 안정성을 향상시킨다.
• Sobolev 노름 $ \|\cdot\|_{\dot{H}^1} $을 사용한 힐버트 공간 프레임워크를 활용하여 강한 볼록성과 수렴 보장을 유도한다.
• 판별자의 1-립시츠 성질과 최적 운반 맵을 활용하여 원거리 설정에서 워샤프스키 거리 목적함수가 강한 볼록 최적화 문제로 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 생성자가 표본 데이터 분포를 표현할 수 없을 경우, GAN 최소최대 게임에서 국소적 내쉬 균형이 존재하는가?
• RQ2 GAN의 순차적 학습 다이내믹스를 고려한 더 적합한 균형 개념을 정의할 수 있는가?
• RQ3 표준 GAN 형식인 바닐라 GAN, WGAN, f-GAN 등에서 원거리 균형이 존재하는가?
• RQ4 표준 1차 방법에 비해 원거리 학습이 GAN 최적화의 수렴성과 안정성 향상에 기여하는가?
• RQ5 워샤프스키 GAN에서 최적 생성자는 원거리 게임 설정 하에서 원거리 균형을 만족하는가?

주요 결과

• 논문은 생성자가 배치 정규화나 스펙트럴 정규화와 같은 정규화를 통해 제약을 받을 경우, GAN 최소최대 문제에서 내쉬 균형이 존재하지 않을 수 있음을 증명한다.
• 제1·제2차 워샤프스키 GAN에서 데이터 분포와의 워샤프스키 거리를 최소화하는 최적 생성자는 원거리 균형을 달성한다.
• 원거리 균형은 스택엘베르크 게임 설정에서 하위게임 완전 균형과 동치임이 입증되어, GAN에 대해 자연스러운 균형 개념임을 입증한다.
• 원거리 게임의 목적함수는 $ \dot{H}^0 $ 노름에 대해 1-강한 볼록성을 가지며, 이는 유일한 최소화자와 안정적인 최적화를 보장한다.
• 원거리 균형은 부등식 $ V(G_{\bm{\theta}}, D^{\bm{\theta}}) - V(G_{\bm{\theta}^*}, D^{\bm{\theta}^*}) \geq \frac{\eta}{2} \|D - D_{\bm{\theta}^*}\|^2_{\dot{H}^1} $ 를 만족함으로써 안정성을 입증한다.
• 수치 실험을 통해 표준 GAN이 내쉬 균형에 수렴하지 못하는 상황에서도 실질적인 GAN 학습에서 원거리 균형 해가 존재함을 확인한다.