[논문 리뷰] Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling

Dmitry Kovalev, Alexander Gasnikov외 1명|arXiv (Cornell University)|2021. 12. 30.

Advanced Optimization Algorithms Research인용 수 8

한 줄 요약

이 논문은 이차 결합이 있는 매끄럽고 볼록-오목한 사鞍점 문제를 위한 가속된 원시-이중 경사 하강법(APDG)을 제안한다. 강한 볼록-강한 오목한 경우에 최적의 선형 수렴 속도를 달성하며, 한 함수만 강한 볼록이거나 둘 다 강한 볼록이 아닌 경우에도 가속된 수렴을 달성한다. 강한 볼록성 또는 오목성 조건 없이도 선형 수렴을 달성하며, 최악의 경우 기존 알려진 하한값과 일치한다.

ABSTRACT

In this paper we study the convex-concave saddle-point problem $\min_x \max_y f(x) + y^T \mathbf{A} x - g(y)$, where $f(x)$ and $g(y)$ are smooth and convex functions. We propose an Accelerated Primal-Dual Gradient Method (APDG) for solving this problem, achieving (i) an optimal linear convergence rate in the strongly-convex-strongly-concave regime, matching the lower complexity bound (Zhang et al., 2021), and (ii) an accelerated linear convergence rate in the case when only one of the functions $f(x)$ and $g(y)$ is strongly convex or even none of them are. Finally, we obtain a linearly convergent algorithm for the general smooth and convex-concave saddle point problem $\min_x \max_y F(x,y)$ without the requirement of strong convexity or strong concavity.

연구 동기 및 목표

• 이차 결합이 있는 매끄럽고 볼록-오목한 사鞍점 문제를 위한 가속된 원시-이중 방법을 개발한다.
• 강한 볼록-강한 오목한 경우에 최적의 선형 수렴 속도를 달성하며, 기존 알려진 하한 복잡도와 일치시킨다.
• 한 함수만 강한 볼록이거나 둘 다 강한 볼록이 아닌 경우에도 수렴 보장을 확장한다.
• 강한 볼록성 또는 오목성 가정 없이도 일반적인 매끄럽고 볼록-오목한 사鞍점 문제에 대해 선형 수렴하는 알고리즘을 제공한다.

제안 방법

• 수렴 속도를 가속하기 위해 적응형 스텝 사이즈와 모멘타 항을 포함한 가속된 원시-이중 경사 하강(APDG) 방법을 제안한다.
• 원시 및 이중 반복값, 기울기 차이, 모멘타 항을 포함하는 리아푸노프 함수 Ψ^k을 사용해 수렴을 분석한다.
• 리아푸노프 함수의 감소를 bound하여 수렴 속도를 유도하며, Ψ^{k+1} ≤ θΨ^k (θ < 1)을 확보한다.
• 문제의 조건 수와 결합 강도에 따라 조정되는 매개변수 η_x, η_y, θ를 도입하여 원시 및 이중 진전을 균형 있게 조절한다.
• 수렴 속도를 최적화하기 위해 δ 매개변수를 도입하며, 다양한 수렴 영역에 대해 서로 다른 최적 값이 유도된다.
• 기울기 변화, 원시-이중 반복값, 모멘타 효과를 통합한 재귀 부등식을 통해 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 이차 결합이 있는 볼록-오목한 사鞍점 문제에 대해 가속된 원시-이중 방법이 최적의 선형 수렴 속도를 달성할 수 있는가?
• RQ2 한 함수만 강한 볼록이거나 둘 다 강한 볼록이 아닌 경우 수렴 속도를 가속시킬 수 있는가?
• RQ3 강한 볼록성 또는 오목성 가정 없이도 일반적인 매끄럽고 볼록-오목한 사鞍점 문제에 대해 선형 수렴이 가능한가?
• RQ4 다양한 정규성 조건 하에서 달성 가능한 최적 수렴 속도는 무엇이며, 제안된 방법이 기존 알려진 하한값과 일치하는가?

주요 결과

• APDG 방법은 강한 볼록-강한 오목한 영역에서 최적의 선형 수렴 속도를 달성하며, Zhang 등(2021)이 제시한 하한 복잡도와 일치한다.
• 한 함수만 강한 볼록이거나 둘 다 강한 볼록이 아닌 경우, 방법은 가속된 선형 수렴 속도를 달성하여 기존 원시-이중 방법보다 향상된다.
• 강한 볼록성 또는 오목성 조건 없이도 일반적인 매끄럽고 볼록-오목한 사鞍점 문제에 대해 선형 수렴하는 알고리즘을 제공한다.
• 수렴 속도는 k ≥ (1/(1−θ)) log(C/ε)로 정량화되며, θ < 1 이고 C는 ε에 독립적이므로 선형 수렴이 보장된다.
• 이중 결합 및 정규화된 ERM 문제를 포함한 다섯 가지 다른 케이스에서 최신 기술 대비 수렴 속도를 개선하거나 동등하게 유지한다.
• 이론적 분석을 통해 강한 볼록-강한 오목한 경우에 방법의 수렴 속도가 최적이며, Zhang 등(2021)이 확립한 하한값과 일치함을 확인한다.