[논문 리뷰] Don't Fix What ain't Broke: Near-optimal Local Convergence of Alternating Gradient Descent-Ascent for Minimax Optimization.

Guodong Zhang, Yuanhao Wang외 2명|arXiv (Cornell University)|2021. 02. 18.

Stochastic Gradient Optimization Techniques참고 문헌 67인용 수 7

한 줄 요약

이 논문은 강한 볼록-강한 오목(minimax) 문제에서 교차하는 경사하강-상승(Alt-GDA)이 동시 경사하강-상승(Sim-GDA)보다 근사 최적의 局부 수렴 속도를 달성함을 입증한다. Sim-GDA는 수렴 속도가 현저히 느리며, Alt-GDA는 더 약한 강한 오목성 가정 조건 하에서도 가속 효과를 유지함을 보여주며, 이는 이차 게임과 GAN 학습에서의 실험을 통해 검증된다.

ABSTRACT

Minimax optimization has recently gained a lot of attention as adversarial architectures and algorithms proliferate. Often, smooth minimax games proceed by simultaneous or alternating gradient updates. Although algorithms with alternating updates are commonly used in practice for many applications (e.g., GAN training), the majority of existing theoretical analyses focus on simultaneous algorithms. In this paper, we study alternating gradient descent-ascent (Alt-GDA) in minimax games and show that Alt-GDA is superior to its simultaneous counterpart (Sim-GDA) in many settings. In particular, we prove that Alt-GDA achieves a near-optimal local convergence rate for strongly-convex strongly-concave problems while Sim-GDA converges with a much slower rate. Moreover, we show that the acceleration effect of alternating updates remains when the minimax problem has only strong concavity in the dual variables. Numerical experiments on quadratic minimax games validate our claims. Additionally, we demonstrate that alternating updates speed up GAN training significantly and the use of optimism only helps for simultaneous algorithms.

연구 동기 및 목표

• 교차하는 경사하강-상승(Alt-GDA)의 국부적 수렴 행동을 minimax 최적화에서 분석하는 것.
• 강한 볼록-강한 오목 설정에서 Alt-GDA의 수렴 속도를 동시 경사하강-상승(Sim-GDA)과 비교하는 것.
• 이중 변수에서의 강한 오목성만 존재할 경우에도 교차 업데이트가 가속 효과를 유지하는지 조사하는 것.
• 이론적 결과를 이차 minimax 게임과 GAN 훈련에서의 수치 실험을 통해 검증하는 것.

제안 방법

• 강한 볼록-강한 오목 minimax 문제에서 국부적 수렴 속도를 확립하기 위해 리아푸노프 함수를 사용한 Alt-GDA 이론적 분석.
• 표준 부드러움 및 강한 볼록성/오목성 가정 하에서 Alt-GDA와 Sim-GDA의 수렴 속도 유도.
• 이중 변수에서의 강한 오목성만 존재하는 설정으로 분석 확장하여, 교차 업데이트가 여전히 가속 효과를 제공함을 보임.
• 이론적 수렴 속도를 확인하기 위해 이차 minimax 게임에서의 수치 평가.
• GAN 훈련에서의 실증 평가를 통해 교차 업데이트의 실용적 속도 향상을 입증.
• 낙관주의 기반 방법의 비교를 통해, 이들의 이점은 동시 알고리즘에 한해 유효하며 교차 업데이트에서는 효과가 없음을 밝힘.

실험 결과

연구 질문

• RQ1 강한 볼록-강한 오목 minimax 문제에서 교차 경사하강-상승(Alt-GDA)이 동시 경사하강-상승(Sim-GDA)보다 더 빠른 국부적 수렴 속도를 달성하는가?
• RQ2 이중 변수에서의 강한 오목성만 존재할 경우에도 교차 업데이트의 가속 효과가 유지되는가?
• RQ3 minimax 최적화에서 교차 업데이트는 낙관주의 방법보다 수렴 속도가 빠른가?
• RQ4 이론적 수렴 속도가 GAN 훈련과 같은 실용적 설정에서도 얼마나 잘 유지되는가?

주요 결과

• Alt-GDA는 강한 볼록-강한 오목 minimax 문제에서 근사 최적의 국부적 수렴 속도를 달성하며, Sim-GDA는 현저히 느린 수렴 속도를 보인다.
• 이중 변수에서의 강한 오목성만 존재할 경우에도 교차 업데이트의 가속 효과가 지속됨을 확인하여, 더 넓은 적용 가능성을 시사한다.
• 이차 minimax 게임에서의 수치 실험을 통해 Alt-GDA에 대한 이론적 수렴 속도 예측이 확인된다.
• GAN 훈련에서는 교차 업데이트가 수렴 속도를 현저히 향상시켜, 동시 업데이트 대비 실용적 우수성을 입증한다.
• 낙관주의 방법은 동시 알고리즘에만 수렴을 향상시키며, 교차 업데이트에서는 효과가 없다.
• 다양한 벤치마크에서 이론적 수렴 속도와 실질적 훈련 동역학 모두에서 Alt-GDA가 Sim-GDA를 능가한다.