[논문 리뷰] Proximal Point Approximations Achieving a Convergence Rate of O(1/k) for Smooth Convex-Concave Saddle Point Problems: Optimistic Gradient and Extra-gradient Methods.

Aryan Mokhtari, Asuman Ozdaglar외 1명|arXiv (Cornell University)|2019. 06. 03.

Stochastic Gradient Optimization Techniques인용 수 15

한 줄 요약

이 논문은 부드러운 볼록-볼록형 사 saddle point 문제에서 옵timistic gradient descent-ascent (OGDA) 방법의 첫 번째 O(1/k) 수렴 속도를 확립한다. 이는 OGDA와 엑스트라 그라디언트(EG) 방법을 프록시멀 포인트 방법의 근사치로 해석함으로써 이루어지며, 두 알고리즘 모두 유한한 반복값을 생성하고, 평균화된 반복값을 사용하여 원시-이중 갭의 O(1/k) 수렴 속도를 달성함을 증명한다. 이는 컴actness 가정 없이도 단순화된 수렴 분석을 가능하게 한다.

ABSTRACT

We study the iteration complexity of the optimistic gradient descent-ascent (OGDA) method and the extra-gradient (EG) method for finding a saddle point of a convex-concave unconstrained min-max problem. To do so, we first show that both OGDA and EG can be interpreted as approximate variants of the proximal point method. This is similar to the approach taken in [Nemirovski, 2004] which analyzes EG as an approximation of the `conceptual mirror prox'. In this paper, we highlight how gradients used in OGDA and EG try to approximate the gradient of the Proximal Point method. We then exploit this interpretation to show that both algorithms produce iterates that remain within a bounded set. We further show that the primal dual gap of the averaged iterates generated by both of these algorithms converge with a rate of $\mathcal{O}(1/k)$. Our theoretical analysis is of interest as it provides a the first convergence rate estimate for OGDA in the general convex-concave setting. Moreover, it provides a simple convergence analysis for the EG algorithm in terms of function value without using compactness assumption.

연구 동기 및 목표

• 부드러운 볼록-볼록형 최소-최대 문제에서 옵티미스틱 그라디언트 디센트-어센션(OGDA) 방법의 수렴 속도를 확립하는 것.
• OGDA와 엑스트라 그라디언트(EG) 방법이 프록시멀 포인트 방법의 근사치로 해석될 수 있음을 보여주는 것.
• 평균화된 반복값의 원시-이중 갭이 두 알고리즘 모두에서 O(1/k) 수렴 속도를 가지는 것을 증명하는 것.
• 컴actness 가정 없이도 EG의 수렴 분석을 단순화하는 것.
• OGDA와 EG가 주어진 조건 하에서 유한한 집합 내에 반복값을 생성하는지 보여주는 것.

제안 방법

• 프록시멀 포인트 방법의 근사치로 OGDA와 EG를 해석함으로써, 이상적인 프록시멀 포인트 업데이트를 모방하기 위해 그라디언트 근사를 활용하는 것.
• 프록시멀 포인트 해석을 활용하여 부드러운 볼록-볼록형 가정 하에서 OGDA와 EG의 반복값의 유한성을 확보하는 것.
• 평균화된 반복값의 원시-이중 갭을 분석하여 O(1/k) 수렴 속도를 도출하는 것.
• 컴actness 가정을 피하는 새로운 분석 프레임워크를 적용하여 EG의 수렴 증명을 단순화하는 것.
• OGDA와 EG의 그라디언트 단계가 실제로 프록시멀 포인트의 그라디언트를 효과적으로 근사함을 확립하여 수렴 보장을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 옵티미스틱 그라디언트 디센트-어센션(OGDA) 방법이 부드러운 볼록-볼록형 사 saddle point 문제에서 O(1/k) 수렴 속도를 달성할 수 있는가?
• RQ2 알고리즘적 구조와 수렴 측면에서 OGDA와 엑스트라 그라디언트(EG) 방법은 프록시멀 포인트 방법과 어떻게 관련이 있는가?
• RQ3 볼록-볼록 조건 하에서 평균화된 반복값의 원시-이중 갭이 OGDA와 EG 모두에서 O(1/k)로 수렴하는가?
• RQ4 컴actness 가정 없이도 EG의 수렴 분석을 단순화할 수 있는가?
• RQ5 OGDA와 EG는 일반적인 볼록-볼록 설정에서 유한한 반복값을 생성하는가?

주요 결과

• OGDA 방법은 부드러운 볼록-볼록형 사 saddle point 문제에서 평균화된 반복값의 원시-이중 갭에 대해 O(1/k) 수렴 속도를 달성하며, 이는 이 설정에서 OGDA에 대해 처음으로 이러한 속도 추정을 제공한다.
• 부드러운 볼록-볼록형 가정 하에서 OGDA와 EG는 모두 유한한 반복값을 생성하여 최적화 과정에서의 안정성을 보장한다.
• 엑스트라 그라디언트 방법은 컴actness 가정 없이도 원시-이중 갭에 대해 O(1/k) 수렴을 달성하여 이론적 분석을 단순화한다.
• 프록시멀 포인트 해석은 이상적인 프록시멀 업데이트를 근사화함으로써 OGDA와 EG의 수렴 행동을 통합적으로 설명하는 프레임워크를 제공한다.
• 분석을 통해 OGDA와 EG의 그라디언트 단계가 실제로 프록시멀 포인트 방법의 그라디언트를 효과적으로 모방함을 밝혀내어, 이러한 근사치를 통한 수렴 보장이 가능함을 보여준다.