[논문 리뷰] Last-Iterate Convergence: Zero-Sum Games and Constrained Min-Max Optimization

Constantinos Daskalakis, Andrew Ilyas외 2명|arXiv (Cornell University)|2017. 10. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 109

한 줄 요약

이 논문은 워셔스타인 GAN 훈련에서 한계 순환과 불안정성을 해결하기 위해 최적의 미러 강하(OMD)를 제안한다. 예측 가능한 상대의 동역학을 활용함으로써 OMD는 이차형 제로섬 게임에서 마지막 반복자 수렴를 달성한다. 이는 표준 경사 하강법(GD)이 순환을 보이는 것과는 대조된다. 실험 결과, OMD는 DNA 서열 생성에서 KL 발산을 감소시키고, Optimistic Adam를 사용해 CIFAR10에서 인ception 점수를 향상시킨다.

ABSTRACT

Motivated by applications in Game Theory, Optimization, and Generative Adversarial Networks, recent work of Daskalakis et al [Daskalakis et al., ICLR, 2018] and follow-up work of Liang and Stokes [Liang and Stokes, 2018] have established that a variant of the widely used Gradient Descent/Ascent procedure, called "Optimistic Gradient Descent/Ascent (OGDA)", exhibits last-iterate convergence to saddle points in unconstrained convex-concave min-max optimization problems. We show that the same holds true in the more general problem of constrained min-max optimization under a variant of the no-regret Multiplicative-Weights-Update method called "Optimistic Multiplicative-Weights Update (OMWU)". This answers an open question of Syrgkanis et al [Syrgkanis et al., NIPS, 2015]. The proof of our result requires fundamentally different techniques from those that exist in no-regret learning literature and the aforementioned papers. We show that OMWU monotonically improves the Kullback-Leibler divergence of the current iterate to the (appropriately normalized) min-max solution until it enters a neighborhood of the solution. Inside that neighborhood we show that OMWU becomes a contracting map converging to the exact solution. We believe that our techniques will be useful in the analysis of the last iterate of other learning algorithms.

연구 동기 및 목표

• GAN 훈련의 불안정성과 한계 순환 문제, 특히 워셔스타인 GAN에서의 문제를 해결하기 위해.
• 평균이 아닌 마지막 반복자가 균형점으로 수렴하는 훈련 알고리즘을 개발하기 위해.
• 생성 모델링에서 샘플 품질과 분포 유사성 향상을 위해.
• Adam과 같은 적응형 최적화 방법에 대해 낙관주의를 확장하여 더 나은 GAN 성능을 확보하기 위해.
• OMD가 GD 및 그 변종보다 단순하고 복잡한 생성 작업 모두에서 뛰어나다는 이론적 및 실증적 증거를 제공하기 위해.

제안 방법

• 예측 가능한 상대 업데이트를 활용하여 OMD를 적용해 GAN을 훈련함으로써 수렴을 향상시킴.
• 앞서 예측을 통합한 Optimistic Adam을 도입하여 Adam의 낙관적 변종을 제안함.
• 이차형 제로섬 게임의 동역학을 사용해 OMD와 GD의 수렴 행동을 이론적으로 분석함.
• WGAN 훈련의 안정성을 확보하기 위해 경사 페널티와 가중치 초기화를 활용함.
• OMD와 GD 변종을 비교하기 위해 DNA 서열 생성 및 CIFAR10 이미지 생성에 실험을 수행함.
• 정량적 평가를 위해 DNA의 경우 KL 발산, CIFAR10의 경우 인ception 점수를 측정함.

실험 결과

연구 질문

• RQ1 표준 GD와 달리 OMD는 이차형 제로섬 게임에서 마지막 반복자 수렴을 달성할 수 있는가?
• RQ2 복잡하고 비凸인 목표 함수가 존재하더라도 OMD는 GAN 훈련에서 한계 순환을 제거할 수 있는가?
• RQ3 실세계의 생성 모델링 작업, 예를 들어 DNA 서열 생성에서 낙관주의가 성능 향상에 기여할 수 있는가?
• RQ4 Optimistic Adam은 CIFAR10에서 이미지 생성 작업에서 표준 Adam보다 뛰어나게 성능을 발휘하는가?
• RQ5 간단한 분포 학습 설정에서 OMD와 GD의 역학 간 정성적 차이는 무엇인가?

주요 결과

• OMD는 이차형 제로섬 게임에서 균형점으로 수렴하지만, GD는 지속적인 한계 순환을 보인다.
• 간단한 평균 추정 작업에서 OMD는 점별 수렴을 보이며, 경사 페널티나 동역학 모멘텀 조정 조차도 GD가 순환을 반복함.
• DNA 서열 생성에서 OMD로 훈련된 모델은 GD 변종보다 일관되게 낮은 KL 발산을 달성한다.
• Optimistic Adam은 1:1 훈련 비율에서 표준 Adam보다 CIFAR10에서 더 높은 인ception 점수를 기록한다.
• 이론적 분석 결과, OMD는 FTRL 기반의 GD 변종보다 더 빠른 손실율과 더 나은 최악의 경우 수렴 보장을 제공함.
• 실증 결과는 마지막 반복자 수렴이 가능하며, GAN 훈련의 안정성과 성능 향상에 유익하다는 것을 확인함.