[논문 리뷰] Linear Last-iterate Convergence in Constrained Saddle-point Optimization

Chen-Yu Wei, Chung‐Wei Lee외 2명|arXiv (Cornell University)|2020. 06. 16.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 8

한 줄 요약

이 논문은 제약 조건이 있는 안장점 최적화 문제에서 옴니포티스틱 그래디언트 디센트 어세이션(OGDA)과 옴니포티스틱 승법적 웨이트 업데이트(OMWU)에 대해 선형 마지막-반복 수렴성을 확립한다. 이를 위해 일정 학습률 하에서 지수 수렴을 보장하는 새로운 안장점 메트릭 하위정규성(SP-MS) 조건을 도입한다. 이중선형 게임—특히 다각형 위의 행렬 게임—에 대해서는 유일한 균형이 필요 없이 선형 수렴을 보임으로써 기존 결과를 크게 일반화하며, 실험을 통해 접근의 타당성을 검증한다.

ABSTRACT

Optimistic Gradient Descent Ascent (OGDA) and Optimistic Multiplicative Weights Update (OMWU) for saddle-point optimization have received growing attention due to their favorable last-iterate convergence. However, their behaviors for simple bilinear games over the probability simplex are still not fully understood - previous analysis lacks explicit convergence rates, only applies to an exponentially small learning rate, or requires additional assumptions such as the uniqueness of the optimal solution. In this work, we significantly expand the understanding of last-iterate convergence for OGDA and OMWU in the constrained setting. Specifically, for OMWU in bilinear games over the simplex, we show that when the equilibrium is unique, linear last-iterate convergence is achieved with a learning rate whose value is set to a universal constant, improving the result of (Daskalakis & Panageas, 2019b) under the same assumption. We then significantly extend the results to more general objectives and feasible sets for the projected OGDA algorithm, by introducing a sufficient condition under which OGDA exhibits concrete last-iterate convergence rates with a constant learning rate whose value only depends on the smoothness of the objective function. We show that bilinear games over any polytope satisfy this condition and OGDA converges exponentially fast even without the unique equilibrium assumption. Our condition also holds for strongly-convex-strongly-concave functions, recovering the result of (Hsieh et al., 2019). Finally, we provide experimental results to further support our theory.

연구 동기 및 목표

• 기존 OGDA 및 OMWU 분석에서의 명시적 수렴 속도 부족과 지수적으로 작은 학습률 의존성 문제를 해결하기 위해.
• 균형이 유일하지 않은 경우에도 확률 단체 위에서 이중선형 게임의 마지막-반복 수렴성 이해 부족을 메우기 위해.
• 유일한 균형 가정과 단순형을 초월한 수렴 보장을 위해 새로운 충분조건인 안장점 메트릭 하위정규성(SP-MS)을 도입함으로써 일반화하기 위해.
• 모든 다각형 위에서 이중선형 게임에 대해, 유일한 균형이 없더라도 일정 학습률 하에서 OGDA가 지수 수렴을 달성함을 보이기 위해.
• 이론적 결과를 실험적으로 검증하여, 행렬 게임에서 OGDA가 수렴 속도 면에서 OMWU를 능가함을 보이기 위해.

제안 방법

• 부드럽고 볼록-볼록인 안장점 문제에서 OGDA의 마지막-반복 수렴성을 보장하는 충분조건으로 안장점 메트릭 하위정규성(SP-MS) 조건을 도입한다.
• T회 반복 후 평균 이중성 갭 수렴 속도가 $\mathcal{O}(1/\sqrt{T})$임을 증명하며, SP-MS 조건 하에서 일정 학습률로 구체적인 마지막-반복 수렴 속도를 확보한다.
• 모든 다각형 위에서 이중선형 게임이 SP-MS 조건을 만족함을 보이며, 다수의 균형이 존재하더라도 OGDA의 지수 수렴 가능성을 보장한다.
• 강한 볼록-강한 볼록 함수에 대해 SP-MS 조건이 성립함을 보이며, 이는 Hsieh 등(2019)의 결과를 특수한 경우로 포함함을 보여준다.
• 비다각형 타당 집합을 가진 반례를 구성하여, OGDA가 선형 수렴을 달성하지 못함을 증명함으로써 타당 집합 기하학의 중요성을 부각한다.
• 클로이블레르 발산 경계와 리아푸노프 함수 추론 기법을 포함한 분석 기법의 조합을 활용하여 SP-MS 조건 하에서의 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 유일한 균형이 없더라도, 확률 단체 위에서 이중선형 게임에 대해 OGDA가 유일한 상수 학습률 하에서 선형 마지막-반복 수렴을 달성할 수 있는가?
• RQ2 목적 함수와 타당 집합에 대한 어떤 조건이 일정 학습률 하에서 OGDA의 마지막-반복 수렴성을 보장하는가?
• RQ3 SP-MS 조건은 다각형 위의 이중선형 게임에서 성립하는가? 그리고 이는 OGDA의 지수 수렴을 암시하는가?
• RQ4 특히 수렴 속도와 학습률 의존성 측면에서, 행렬 게임에서 OGDA의 성능은 OMWU와 어떻게 비교되는가?
• RQ5 SP-MS 조건은 선형 수렴에 대해 필수적일까 충분한가? 비다각형 타당 집합에서는 실패하는가?

주요 결과

• 유일한 균형이 존재하는 단체 위의 이중선형 게임에서 OMWU는 보편적인 상수 학습률 하에서 선형 마지막-반복 수렴을 달성하며, Daskalakis & Panageas(2019b)의 결과를 향상시킨다.
• OGDA는 SP-MS 조건 하에서, 유일한 균형이 없더라도 모든 다각형 위의 이중선형 게임에서 지수 수렴을 달성한다.
• SP-MS 조건은 다각형 위의 이중선형 게임과 강한 볼록-강한 볼록 함수에 대해 성립하며, 이는 기존 결과를 일반화한다.
• 모든 타당 집합에서 SP-MS 조건이 성립하지는 않으며, 비다각형 집합을 가진 반례에서 OGDA는 선형 수렴을 명백히 실패한다.
• 실험 결과에 따르면, 행렬 게임에서 둘 다 지수 수렴을 달성하지만, OGDA가 OMWU보다 더 빠른 수렴 속도를 보이며, SP-MS 프레임워크 하에서의 실용적 우수성을 시사한다.
• 하한 분석을 통해 특정 예시에서 $\|\bm{z}_t - \bm{z}^*\| \geq \Omega(1/t)$임을 확인함으로써, 수렴 속도가 로그 인자 수준까지 날카롭게 유지됨을 확인한다.