[논문 리뷰] Last Iterate is Slower than Averaged Iterate in Smooth Convex-Concave Saddle Point Problems

Noah Golowich, Sarath Pattathil외 2명|arXiv (Cornell University)|2020. 01. 31.

Stochastic Gradient Optimization Techniques인용 수 17

한 줄 요약

이 논문은 매끄러운 볼록-준연립 함수 최적화 문제에서 Extragradient(EG) 알고리즘의 마지막 반복자가 수렴 속도 $O(1/\sqrt{T})$를 보임을 증명한다. 이는 평균화된(ergodic) 반복자의 $O(1/T)$ 수렴 속도보다 훨씬 느린 속도이다. 논문은 이 수렴 속도가 $\Omega(1/\sqrt{T})$ 하한을 통해 날카롭게 조정되어 있음을 증명함으로써, 이 설정에서 마지막 반복자와 평균화된 반복자 간의 수렴 속도에 대해 제곱 수준의 격차가 있음을 보여준다.

ABSTRACT

In this paper we study the smooth convex-concave saddle point problem. Specifically, we analyze the last iterate convergence properties of the Extragradient (EG) algorithm. It is well known that the ergodic (averaged) iterates of EG converge at a rate of $O(1/T)$ (Nemirovski, 2004). In this paper, we show that the last iterate of EG converges at a rate of $O(1/\\sqrt{T})$. To the best of our knowledge, this is the first paper to provide a convergence rate guarantee for the last iterate of EG for the smooth convex-concave saddle point problem. Moreover, we show that this rate is tight by proving a lower bound of $\\Omega(1/\\sqrt{T})$ for the last iterate. This lower bound therefore shows a quadratic separation of the convergence rates of ergodic and last iterates in smooth convex-concave saddle point problems.

연구 동기 및 목표

• 매끄러운 볼록-준연립 최적화 문제에서 Extragradient(EG) 알고리즘의 마지막 반복자의 수렴 행동을 분석하는 것.
• EG의 마지막 반복자에 대한 날카운 수렴 속도를 확립하고, 잘 알려진 $O(1/T)$ 평균화된 반복자 수렴 속도와 대비하는 것.
• 이 유형의 문제에서 마지막 반복자와 평균화된 반복자 간의 수렴 속도에 대한 근본적인 격차를 드러내는 것.
• 상한과 일치하는 하한을 제공하여, 마지막 반복자에 대한 $O(1/\sqrt{T})$ 수렴 속도가 최적임을 증명하는 것.

제안 방법

• 저자들은 매끄럽고 볼록-준연립 최적화 문제의 맥락에서 Extragradient(EG) 알고리즘을 분석한다.
• 함수 $f(\mathbf{x}, \mathbf{y})$의 매끄러움과 볼록-준연립 성질을 활용하여 마지막 반복자의 수렴 속도에 대한 상한을 유도한다.
• 특정 문제 예시를 구성하여 마지막 반복자의 수렴 속도에 대한 $\Omega(1/\sqrt{T})$ 하한을 증명한다.
• 수렴 속도 상한의 날카움을 입증하기 위해, 안정점 갭과 반복자의 궤적 성질을 활용한다.
• 최악의 경우 분석과 적극적인 함수의 명시적 구성 기법을 결합하여 상한을 일치시키는 증명 기법을 사용한다.

실험 결과

연구 질문

• RQ1 매끄러운 볼록-준연립 최적화 문제에서 Extragradient 알고리즘의 마지막 반복자의 수렴 속도는 무엇인가?
• RQ2 이 설정에서 마지막 반복자의 수렴 속도는 평균화된(ergodic) 반복자와 비교해 어떻게 되는가?
• RQ3 마지막 반복자 수렴 속도에 대한 $O(1/\sqrt{T})$ 상한이 날카로운가?
• RQ4 이 유형의 문제에서 마지막 반복자에 대해 $\Omega(1/\sqrt{T})$ 하한을 확립할 수 있는가?

주요 결과

• 매끄러운 볼록-준연립 최적화 문제에서 Extragradient 알고리즘의 마지막 반복자는 수렴 속도 $O(1/\sqrt{T})$를 보인다.
• 이 수렴 속도는 논문에서 $\Omega(1/\sqrt{T})$ 하한을 확립함으로써 날카롭게 조정됨이 입증된다.
• 마지막 반복자의 수렴 속도는 평균화된 반복자에 비해 제곱 수준으로 느리며, $O(1/T)$ 수렴 속도보다 빠르지 않다.
• 논문은 이 설정에서 EG의 마지막 반복자에 대한 최초의 수렴 속도 보장을 제공한다.
• 결과는 매끄럽고 볼록-준연립 최적화 문제에서 마지막 반복자와 평균화된 반복자 간의 수렴 속도에 근본적인 성능 격차가 있음을 드러낸다.
• 분석은 마지막 반복자가 조건부로라도 $O(1/T)$ 수렴 속도를 달성할 수 없음을 확인한다. 이는 조건부 매끄러움과 볼록-준연립 가정 하에서도 마찬가지이다.