[논문 리뷰] Linear Last-iterate Convergence for Matrix Games and Stochastic Games.

Chung‐Wei Lee, Haipeng Luo외 2명|arXiv (Cornell University)|2020. 06. 16.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 상수 학습률을 사용하여 행렬 게임과 매끄러운 이차형 함수에서 옴니식 그래디언트 하강 상승(OGDA) 알고리즘의 명시적 최종 반복 수렴 속도를 확립하며, 추가 가정 없이 지수 수렴을 증명한다. 또한 이러한 결과를 유한한 시간 범위를 가진 스토케스틱 게임으로 일반화하여, 자기 자신과의 플레이에서 선형 최종 반복 수렴과 느리게 변화하는 상대방에 대해 낮은 위험을 동시에 확보하는 첫 번째 알고리즘을 제공한다.

ABSTRACT

Optimistic Gradient Descent Ascent (OGDA) algorithm for saddle-point optimization has received growing attention due to its favorable last-iterate convergence. However, its behavior for simple two-player matrix games is still not fully understood -- previous analysis lacks explicit convergence rates, only applies to exponentially small learning rate, or requires additional conditions such as uniqueness of the optimal solution. In this work, we significantly expand the understanding of OGDA, introducing a set of sufficient conditions under which OGDA exhibits concrete last-iterate convergence rates with a constant learning rate. Specifically, we show that matrix games satisfy these conditions and OGDA converges exponentially fast without any additional assumptions. More generally, our conditions hold for smooth bilinear functions and strongly-convex-strongly-concave functions over a constrained set. We provide experimental results to further support our theory. To further demonstrate the significance of our results for matrix games, we greatly generalize the ideas to finite-horizon stochastic/Markov games and provide the first algorithm that simultaneously ensures 1) linear last-iterate convergence when playing against itself and 2) low regret when playing against an arbitrary slowly-changing opponent.

연구 동기 및 목표

• 이중 행렬 게임에서 OGDA의 수렴 행동에 대한 이해 격차를 메우기 위해, 특히 명시적 수렴 속도와 학습률 제약 조건에 초점을 맞춘다.
• 해가 유일하지 않아도 상수 학습률을 사용할 때 OGDA가 지수 수렴을 달성할 수 있는 충분조건을 규명한다.
• 제약된 집합 위에서 매끄러운 이차형 함수와 강凸-강병각 함수에 대해 이론적 프레임워크를 확장한다.
• 유한한 시간 범위를 가진 스토케스틱/마르코프 게임으로 결과를 일반화하여, 자기 자신과의 플레이에서 안정성과 적응성의 조합을 달성한다.

제안 방법

• OGDA의 최종 반복 수렴을 보장하는 게임 구조에 대한 충분조건의 집합을 도입한다.
• 행렬 게임이 이러한 조건을 만족함을 증명하여, 추가 가정 없이 지수 수렴이 이루어짐을 보인다.
• 이 프레임워크를 매끄러운 이차형 함수 및 컴팩트 집합 위의 강凸-강병각 함수에 적용한다.
• 유한한 시간 범위를 가진 스토케스틱 게임을 위한 새로운 알고리즘을 설계하여, 자기 자신과의 플레이에서 선형 최종 반복 수렴을 보장한다.
• 이론적 분석을 통해 이 알고리즘이 느리게 변화하는 상대방과 대응할 때 낮은 위험을 달성함을 보여주며, 안정성과 적응성을 통합한다.
• 리아푸노프 스타일 분석과 모나톤 변분부등식의 성질을 활용하여 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 행렬 게임에서 OGDA가 상수 학습률을 사용할 때 어떤 조건에서 명시적 최종 반복 수렴을 달성하는가?
• RQ2 해가 유일하지 않거나 지수적으로 작은 학습률이 필요하지 않은 조건에서 OGDA의 수렴 속도를 확립할 수 있는가?
• RQ3 행렬 게임에 대한 이론적 프레임워크를 스토케스틱 게임과 같은 더 복잡한 설정으로 어떻게 확장할 수 있는가?
• RQ4 유한한 시간 범위를 가진 스토케스틱 게임에서 동시에 선형 최종 반복 수렴과 낮은 위험을 보장하는 알고리즘을 설계할 수 있는가?

주요 결과

• 행렬 게임에서 상수 학습률을 사용할 때 OGDA는 해의 유일성이나 추가 가정 없이 지수적으로 빠르게 수렴한다.
• 수렴을 보장하는 충분조건는 매끄러운 이차형 함수 및 제약된 집합 위의 강凸-강병각 함수에 일반적으로 적용된다.
• 제안된 알고리즘은 유한한 시간 범위를 가진 스토케스틱 게임에서 자기 자신과의 플레이 시 선형 최종 반복 수렴을 달성한다.
• 동일한 알고리즘은 임의의 느리게 변화하는 상대방과 대응할 때 낮은 위험을 보장하며, 이는 이 설정에서 처음으로 이루어지는 성과이다.
• 실험 결과는 이론적 발견을 지지하며, 실질적으로 빠르고 안정적인 수렴을 보여준다.