[논문 리뷰] On the Suboptimality of Negative Momentum for Minimax Optimization

Guodong Zhang, Yuanhao Wang|arXiv (Cornell University)|2020. 08. 17.

Advanced Bandit Algorithms Research참고 문헌 49인용 수 4

한 줄 요약

이 논문은 변분부등식 프레임워크를 통해 체비셰프 다항식과 연결하여 부정적 운동량(negative momentum)이 부드럽고 강하게 볼록-강하게 준연속(minimax) 최적화에서 어떻게 작용하는지 분석한다. 이는 국소 수렴 속도가 𝒪(κ¹.⁵)로 가속화되지만, Extra-Gradient(EG)와 Optimistic Gradient Descent Ascent(OGDA)의 𝒪(κ) 수렴 속도에 비해 비최적임을 보여주며, 이 설정에서 부정적 운동량에 대한 최초의 명시적 수렴 속도를 확립한다.

ABSTRACT

Smooth game optimization has recently attracted great interest in machine learning as it generalizes the single-objective optimization paradigm. However, game dynamics is more complex due to the interaction between different players and is therefore fundamentally different from minimization, posing new challenges for algorithm design. Notably, it has been shown that negative momentum is preferred due to its ability to reduce oscillation in game dynamics. Nevertheless, the convergence rate of negative momentum was only established in simple bilinear games. In this paper, we extend the analysis to smooth and strongly-convex strongly-concave minimax games by taking the variational inequality formulation. By connecting momentum method with Chebyshev polynomials, we show that negative momentum accelerates convergence of game dynamics locally, though with a suboptimal rate. To the best of our knowledge, this is the \emph{first work} that provides an explicit convergence rate for negative momentum in this setting.

연구 동기 및 목표

• 이중선형 케이스를 초월하여, 매끄럽고 강하게 볼록-강하게 준연속 minimax 문제에서 부정적 운동량의 수렴 행동을 분석하는 것.
• 부정적 운동량이 이 설정에서 최적의 수렴 속도를 달성하는지 여부를 확인하는 것. 이는 이중선형 게임에서의 뛰어난 성능을 고려할 때 중요한 질문이다.
• 이론적 분석을 위해 부정적 운동량 역학을 다항식 근사와 체비셰프 다항식에 공식적으로 연결하는 것.
• 부정적 운동량의 국소 수렴 속도를 확립하고, EG 및 OGDA의 알려진 최적 수렴 속도와 비교하는 것.
• 이중선형 게임에서 비슷한 수렴 속도를 보이지만, 부정적 운동량과 OGDA 사이의 근본적인 차이를 명확히 하는 것.

제안 방법

• 게임의 기울기 장의 자코비안을 사용하여 minimax 문제를 변분부등식으로 공식화한다.
• 일阶 방법을 이산 동역계로 모델링하고, 평형점 주변에서 선형화하여 국소 분석을 수행한다.
• 운동량 방법과 다항식 근사 사이의 대응 관계를 수립하며, 특히 폴리악 운동량(Polyak's momentum)이 체비셰프 다항식과 연결됨을 밝힌다.
• 체비셰프 다항식의 극값 성질을 분석하여 최적의 운동량 파라미터와 渐近 수렴 속도를 유도한다.
• 선형화된 시스템의 스펙트럼 분석을 통해 조건수 κ에 따라 수렴 속도의 상한을 구한다.
• 부정적 운동량의 유도된 수렴 속도를, 일阶 방법에 대한 알려진 하한 Ω(κ)과 EG 및 OGDA의 𝒪(κ) 수렴 속도와 비교한다.

실험 결과

연구 질문

• RQ1 부정적 운동량은 매끄럽고 강하게 볼록-강하게 준연속 minimax 게임에서 최적의 수렴을 달성하는가?
• RQ2 이 설정에서 부정적 운동량의 명시적 국소 수렴 속도는 무엇인가?
• RQ3 부정적 운동량의 수렴 속도는 Extra-Gradient(EG) 및 Optimistic Gradient Descent Ascent(OGDA)와 비교해 어떻게 되는가?
• RQ4 왜 부정적 운동량은 이중선형 게임에서는 잘 작동하지만 더 일반적인 설정에서는 여전히 비최적인가?
• RQ5 부정적 운동량의 역학은 다항식 근사와 체비셰프 다항식을 통해 공식적으로 분석할 수 있는가?

주요 결과

• 부정적 운동량은 매끄럽고 강하게 볼록-강하게 준연속 minimax 게임에서 국소 수렴 속도 𝒪(κ¹.⁵)를 달성한다.
• 이 수렴 속도는 일阶 방법에 대한 Ω(κ) 하한에 비해 비최적임을 보여주며, 이는 Extra-Gradient(EG) 및 Optimistic Gradient Descent Ascent(OGDA)가 이를 충족함을 의미한다.
• 이 분석은 이전에 이중선형 게임에 국한된 결과를 초월하여, 이 일반 설정에서 부정적 운동량에 대한 최초의 명시적 수렴 속도를 확립한다.
• 부정적 운동량과 체비셰프 다항식 간의 연결은 정확한 수렴 속도 유도 및 최적의 파라미터 튜닝을 가능하게 한다.
• 이중선형 게임에서 OGDA 및 EG와 동일한 수렴 속도를 보이지만, 보다 넓은 강하게 볼록-강하게 준연속 클래스에서는 최적의 수렴 속도를 달성하지 못함을 확인한다.
• 수치 시뮬레이션은 GDA보다 부정적 운동량이 우수한 성능을 보이지만, OGDA에 비해 열등함을 확인하여 이론적 수렴 속도 격차를 검증한다.