[논문 리뷰] Finding Mixed Nash Equilibria of Generative Adversarial Networks

Ya-Ping Hsieh, Chen Liu외 1명|arXiv (Cornell University)|2018. 10. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 17

한 줄 요약

이 논문은 혼합 네시 균형을 추구하는 무한차원의 두 명의 플레이어 게임으로 훈련 과정을 모델링함으로써, 수렴가능한 수렴 속도를 보장하는 프록시멀 방법을 활용하여 생성적 적대적 네트워크(GANs)를 훈련시키는 새로운 알고리즘 프레임워크를 제안한다. 이 방법은 SGLD를 통해 프록시멀 방법을 효율적인 샘플링 루틴으로 감소시켜, SGD, Adam, RMSProp에 비해 합성 및 실세계 이미지 생성 과제에서 뛰어난 성능과 안정성을 달성한다.

ABSTRACT

We reconsider the training objective of Generative Adversarial Networks (GANs) from the mixed Nash Equilibria (NE) perspective. Inspired by the classical prox methods, we develop a novel algorithmic framework for GANs via an infinite-dimensional two-player game and prove rigorous convergence rates to the mixed NE, resolving the longstanding problem that no provably convergent algorithm exists for general GANs. We then propose a principled procedure to reduce our novel prox methods to simple sampling routines, leading to practically efficient algorithms. Finally, we provide experimental evidence that our approach outperforms methods that seek pure strategy equilibria, such as SGD, Adam, and RMSProp, both in speed and quality.

연구 동기 및 목표

• 순수 전략 균형이 잘못 정의된 문제로 인해 오랫동안 지속된 GAN 훈련의 불안정성과 수렴 불가 문제를 해결하기 위해.
• GAN 훈련을 순수 전략이 아닌 혼합 네시 균형을 찾는 것으로 재정의하여 해의 존재성과 잘 정의된 성격을 보장하기 위해.
• 임의의 아키텍처를 가진 GAN에 대해 고전적 프록시멀 방법을 무한차원 전략 공간으로 확장하기 위해.
• SGLD를 사용해 프록시멀 업데이트를 샘플링 작업으로 감소시켜 계산 오버헤드를 최소화하면서도 실용적이고 효율적인 알고리즘을 개발하기 위해.
• SGD, Adam, RMSProp과 같은 표준 최적화기와 비교하여 수렴 속도와 샘플 품질 면에서 뛰어난 성능을 경험적으로 입증하기 위해.

제안 방법

• 확률 측도 위에서 무한차원의 두 명의 플레이어 게임으로 GAN 훈련을 설정하여 순수 전략 대신 혼합 네시 균형을 추구한다.
• 거울 강하(Mirror Descent)와 거울-프록시(Mirror-Prox)와 같은 프록시멀 방법을 무한차원 전략 공간에 적용하고, 혼합 네시 균형으로의 수렴 속도를 증명한다.
• 스토하스틱 기울기 랑주인 동역학(SGLD)을 사용해 프록시멀 업데이트를 샘플링 작업으로 감소시켜 실용적 구현을 가능하게 한다.
• 훈련 중 탐색과 정확성의 균형을 맞추기 위해 SGLD 파라미터(단계 수, 스텝 크기, 노이즈)에 대해 적응적 스케줄링을 적용한다.
• 학습 안정성 향상과 수렴 개선을 위해 하이퍼파ram터에 대한 덤프링 요소와 지수 감쇠 스케줄링을 도입한다.
• SGLD 샘플링에서 배치 정규화 레이어를 제외하여 파라미터 의존성 문제를 피하고 이론적 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 순수 전략 균형에 비해 혼합 네시 균형이 GAN 훈련에 더 안정적이고 잘 정의된 공식화를 제공할 수 있는가?
• RQ2 임의의 아키텍처를 가진 GAN에서 프록시멀 방법을 무한차원 전략 공간으로 엄밀하게 확장할 수 있는가?
• RQ3 결과적으로 유도된 프록시멀 업데이트를 수렴 보장을 유지하면서도 효율적인 샘플링 루틴으로 감소시킬 수 있는가?
• RQ4 제안된 알고리즘이 SGD, Adam, RMSProp과 같은 표준 최적화기보다 수렴 속도와 샘플 품질 면에서 뛰어나게 성능을 발휘하는가?
• RQ5 이 알고리즘은 합성 및 실세계 데이터셋 모두에서 모드 붕괴를 피하고 고품질의 다양성 있는 샘플로 수렴할 수 있는가?

주요 결과

• 제안된 미러- 및 미러-프록시-GAN 알고리즘은 8개와 25개의 가우시안 혼합 분포를 가진 합성 데이터셋에서 SGD, Adam, RMSProp보다 더 빠른 수렴 속도와 뛰어난 샘플 품질을 달성한다.
• 스위스롤 데이터셋에서, 미러- 및 미러-프록시-GAN은 기저의 다양체 구조를 성공적으로 포착하고 모드 붕괴를 피한다.
• LSUN 베드룸 데이터셋에서, Adam은 80,000 반복 후 심각한 모드 붕괴를 보였지만, 미러-GAN은 훈련 전반에 걸쳐 고품질의 생성 결과를 유지한다.
• RMSProp 전처리를 적용한 SGLD를 사용한 미러-GAN은 순수 RMSProp보다 뛰어난 성능을 보이며, 샘플링 기반 업데이트 전략의 유용성을 입증한다.
• 기존 최적화기들이 종종 열악한 국소 최소점에 갇히는 것과 달리, 이 알고리즘은 편향 없는 모드를 일관되게 찾고 복잡한 분포의 전체 분산을 포착한다.
• 적응적 SGLD 스케줄링은 초기 반복에서의 탐색과 후기 단계의 정확성 간 균형을 맞춰 수렴을 향상시킨다.