[논문 리뷰] A Unified Analysis of Extra-gradient and Optimistic Gradient Methods for Saddle Point Problems: Proximal Point Approach

Aryan Mokhtari, Asuman Ozdaglar외 1명|arXiv (Cornell University)|2019. 01. 24.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 74

한 줄 요약

본 논문은 saddle point 문제에 대한 Extra-gradient (EG) 및 Optimistic Gradient Descent Ascent (OGDA) 방법을 proximal point method 근사로 보는 관점에서 분석하고, bilinear 및 strongly convex-strongly concave 설정에 대한 통합 수렴 결과를 도출하며, broader parameter choices로 OGDA를 일반화한다.

ABSTRACT

In this paper we consider solving saddle point problems using two variants of Gradient Descent-Ascent algorithms, Extra-gradient (EG) and Optimistic Gradient Descent Ascent (OGDA) methods. We show that both of these algorithms admit a unified analysis as approximations of the classical proximal point method for solving saddle point problems. This viewpoint enables us to develop a new framework for analyzing EG and OGDA for bilinear and strongly convex-strongly concave settings. Moreover, we use the proximal point approximation interpretation to generalize the results for OGDA for a wide range of parameters.

연구 동기 및 목표

• Convex-concave 형태의 saddle point 문제를 동기화하고 그것의 0합 게임, 로버스트 최적화, 제어, GAN과의 관련성에 대해 연구한다.
• EG 및 OGDA 방법을 분석하기 위한 통일된 proximal point 기반 프레임워크를 개발한다.
• bilinear 및 strongly convex-strongly concave 시나리오에서 EG 및 OGDA의 수렴 속도를 확립한다.
• 더 넓은 매개변수 선택을 가진 generalized OGDA를 일반화하고 일반화된 방법의 수렴을 증명한다.

제안 방법

• 이중선형 및 일반 매끄러운 볼록-대볼록 가정 하에서 saddle point 문제를 모델링한다.
• OGDA 업데이트를 proximal point 방법의 근사로 해석하되 오차를 o(η^2)로 보는 (Proposition 1)
• 적절한 스텝 사이즈에서 bilinear(정리 3) 및 strongly convex-strongly concave 설정에서 OGDA의 선형 수렴을 보인다(정리 4).
• 비등의 gradient 및 모멘텀 계수를 허용하도록 OGDA를 일반화하고 특정 조건 하에서 수렴을 증명한다(정리 5).
• EG 업데이트를 proximal point 근사로 보되 오차-bound를 제시하고 bilinear(정리 6) 및 strongly convex-strongly concave 경우에 선형 수렴을 확립한다(정리 7).
• 결과를 기존의 문헌과 연계하고 수렴 속도 보장을 비교한다(논문 Table 1).

실험 결과

연구 질문

• RQ1 EG 및 OGDA를 saddle point 문제에 대한 proximal point 방법의 근사로 해석할 수 있는가?
• RQ2 bilinear 및 strongly convex-strongly concave 설정에서 EG 및 OGDA에 대해 어떤 선형 수렴 속도를 확립할 수 있는가?
• RQ3 현재각도에서 매개변수 선택이 유연한 generalized OGDA가 수렴에 어떤 영향을 미치는가?
• RQ4 proximal point 관점이 saddle point 문제에 대한 기존 결과들과 EG 및 OGDA의 분석을 어떻게 통일하는가?

주요 결과

• OGDA는 적절히 선택된 스텝 크기를 사용할 때 bilinear saddle point 문제에서 선형 수렴하며, 전체 이터레이션 복잡도는 O(kappa log(1/epsilon))이다.
• OGDA는 매끄러움 상수에 의존하는 스텝 크기로 bilinear 및 strongly convex-strongly concave 설정에서 선형 수렴하며, O(kappa log(1/epsilon)) 이터레이션을 달성한다.
• EG는 bilinear 문제 및 명시적 스텝 사이즈 선택 하에서 strongly convex-strongly concave 설정에서도 선형 수렴을 보이며, 알려진 최적 속도와 일치한다.
• 현재 gradient와 과거 gradient 항에 대해 서로 다른 계수를 허용하는 generalized OGDA는 특정 매개변수 범위에서 선형 수렴을 유지한다(정리 5).
• EG 및 OGDA는 o(η^2) 오차를 가지는 proximal point 방법의 근사로 간주될 수 있으며, 이로써 수렴 분석에 대한 통일된 프레임워크를 제공한다.