[논문 리뷰] Near-optimal Local Convergence of Alternating Gradient Descent-Ascent for Minimax Optimization

Guodong Zhang, Yuanhao Wang외 2명|arXiv (Cornell University)|2021. 02. 18.

Stochastic Gradient Optimization Techniques참고 문헌 55인용 수 6

한 줄 요약

이 논문은 강력한 볼록-강력한 오목(Strongly Convex-Strongly Concave, SCSC) 미니맥스 문제에서 교차 경사하강법(Alternating Gradient Descent-Ascent, Alt-GDA)이 near-optimal 국소 수렴 속도 𝒪(κ)를 달성함을 보이며, 이는 同시 GDA(Sim-GDA)의 𝒪(κ²) 수렴 속도보다 뚜렷이 뛰어나다. 저자들은 Alt-GDA가 보조 경사법과 낙관적 GDA의 최고 수준의 속도를 재현함을 증명하였고, 이중선형 결합을 가진 SCSC 문제의 일부 하위집합에 대해 정적 제곱 제약(IQC)을 통해 전역 선형 수렴을 입증하였다.

ABSTRACT

Smooth minimax games often proceed by simultaneous or alternating gradient updates. Although algorithms with alternating updates are commonly used in practice, the majority of existing theoretical analyses focus on simultaneous algorithms for convenience of analysis. In this paper, we study alternating gradient descent-ascent (Alt-GDA) in minimax games and show that Alt-GDA is superior to its simultaneous counterpart~(Sim-GDA) in many settings. We prove that Alt-GDA achieves a near-optimal local convergence rate for strongly convex-strongly concave (SCSC) problems while Sim-GDA converges at a much slower rate. To our knowledge, this is the \emph{first} result of any setting showing that Alt-GDA converges faster than Sim-GDA by more than a constant. We further adapt the theory of integral quadratic constraints (IQC) and show that Alt-GDA attains the same rate \emph{globally} for a subclass of SCSC minimax problems. Empirically, we demonstrate that alternating updates speed up GAN training significantly and the use of optimism only helps for simultaneous algorithms.

연구 동기 및 목표

• 실제 적용에서 널리 사용되지만 이론적 분석이 부족한 교차 경사하강법(Alt-GDA)을 연구함으로써 실무와 분석 사이의 이론적 격차를 메우기 위해.
• 특히 SCSC 미니맥스 문제에서 Alt-GDA와 동시에 GDA(Sim-GDA)의 수렴 속도 및 수렴 속도를 비교하기 위해.
• Alt-GDA가 near-optimal 국소 수렴 속도 𝒪(κ)를 달성함을 입증하기 위해, 여기서 κ는 조건수이다.
• 정적 제곱 제약(IQC)과 리아푸노프 함수 탐색을 통해, 이론적 분석을 SCSC 문제의 일부 하위집합에 대해 전역 수렴으로 확장하기 위해.
• 이론을 정규 미니맥스 게임과 GAN 학습에서 실증적으로 검증하여, Alt-GDA가 Sim-GDA보다 뛰어나며, 교차 구조에서 낙관주의의 이점이 제한적임을 보여주기 위해.

제안 방법

• 국소 선형 수렴 분석 기반으로 SCSC 미니맥스 문제에서 Alt-GDA의 이론적 분석.
• 리아푸노프 함수 기법을 사용하여, 조건수 κ일 때 Alt-GDA의 near-optimal 국소 수렴 속도 𝒪(κ)를 증명.
• 이중선형 결합을 가진 SCSC 문제의 일부 하위집합에 대해 전역 수렴 속도를 도출하기 위해 정적 제곱 제약(IQC) 이론의 적용.
• IQC 프레임워크 하에서 안정성과 수렴성을 검증하기 위해 LMI(선형 행렬 부등식) 기반 리아푸노프 함수 탐색의 활용.
• FID 점수와 학습 동역학을 기반으로 정규 미니맥스 게임과 GAN에서 Alt-GDA, Sim-GDA, 낙관적 변종 간의 실증 평가.
• 하이퍼파rameter 튜닝을 통한 CIFAR-10 및 SVHN에서의 SGD, AMSGrad의 동시에 및 교차 형태의 구현.

실험 결과

연구 질문

• RQ1 SCSC 미니맥스 문제에서 교차 경사하강법(Alt-GDA)은 동시에 GDA(Sim-GDA)보다 더 빠르게 수렴하는가?
• RQ2 Alt-GDA는 SCSC 문제에서 near-optimal 국소 수렴 속도 𝒪(κ)를 달성할 수 있는가? 이는 보조 경사법과 낙관적 GDA의 최고 수준의 속도를 재현하는가?
• RQ3 y에 대해서만 강력한 오목성은 유지되지만 x에 강력한 볼록성이 없을 경우, Alt-GDA는 여전히 선형 수렴 속도를 유지하는가?
• RQ4 IQC 프레임워크를 사용하여, 이중선형 결합을 가진 SCSC 문제의 일부 하위집합에 대해 Alt-GDA의 전역 수렴을 증명할 수 있는가?
• RQ5 낙관주의가 교차 알고리즘에서 성능 향상에 뚜렷한 기여를 하는가, 아니면 동시에 수행되는 경우에만 유의미한 이점이 있는가?

주요 결과

• Alt-GDA는 SCSC 미니맥스 문제에서 𝒪(κ)의 국소 수렴 속도를 달성하며, 이는 Sim-GDA의 𝒪(κ²) 속도보다 제곱적으로 빠르며, 보조 경사법과 낙관적 GDA의 최고 수준의 속도를 재현한다.
• Alt-GDA의 𝒪(κ) 속도는 near-optimal이며, Azizian 등(2020b)의 논문에서 수립된 거친 하한값과 일치함을 입증하였다. (Corollary 1)
• y에 대해 강력한 오목성만 존재하고 커플링 행렬이 비특이일 경우, Sim-GDA와 Alt-GDA 모두 선형 수렴을 달성하지만, Alt-GDA가 더 빠르게 수렴한다.
• IQC 이론을 활용하여, 이중선형 결합을 가진 SCSC 문제의 일부 하위집합에 대해 Alt-GDA가 자동 리아푸노프 함수 탐색을 통해 동일한 전역 𝒪(κ) 수렴 속도를 확보함을 증명하였다.
• GAN 학습에서의 실증 결과로, 교차 업데이트가 수렴 속도를 크게 향상시키는 것으로 나타났고, 낙관주의의 영향은 거의 없었다.
• CIFAR-10 및 SVHN에서, 교차 SGD와 AMSGrad가 동시에 구현보다 뛰어난 성능을 보였으며, 교차 설정에서는 낙관주의의 적용이 성능 향상에 기여하지 않았다.