[논문 리뷰] Last-iterate convergence rates for min-max optimization

Jacob Abernethy, Kevin A. Lai외 1명|arXiv (Cornell University)|2019. 06. 05.

Advanced Optimization Algorithms Research참고 문헌 35인용 수 41

한 줄 요약

이 논문은 새로운 충분히 바이리니어 조건하에서 볼록-오목 최소-최대 문제에 대해 Hamiltonian Gradient Descent(HGD) 알고리즘의 비점근적(last-iterate) 선형 수렴 속도를 증명하고, CO(Consensus Optimization) 및 확률적 HGD에도 유사한 결과를 제시한다.

ABSTRACT

While classic work in convex-concave min-max optimization relies on average-iterate convergence results, the emergence of nonconvex applications such as training Generative Adversarial Networks has led to renewed interest in last-iterate convergence guarantees. Proving last-iterate convergence is challenging because many natural algorithms, such as Simultaneous Gradient Descent/Ascent, provably diverge or cycle even in simple convex-concave min-max settings, and previous work on global last-iterate convergence rates has been limited to the bilinear and convex-strongly concave settings. In this work, we show that the Hamiltonian Gradient Descent (HGD) algorithm achieves linear convergence in a variety of more general settings, including convex-concave problems that satisfy a "sufficiently bilinear" condition. We also prove similar convergence rates for the Consensus Optimization (CO) algorithm of [MNG17] for some parameter settings of CO.

연구 동기 및 목표

• bilinear 및 강강건-강강건 설정을 넘어서는 최소-최대 문제에 대해 마지막 반복 수렴 보장을 동기 부여하고 확립한다.
• HGD를 saddle 포인트를 찾기 위한 Hamiltonian에 대한 그래디언트 강하로 도입하고 분석한다.
• 이전 연구보다 약한 가정하에서 글로벌 선형 수렴 속도를 도출하며, 새로운 충분히 바이리니어 조건을 포함한다.
• HGD를 Consensus Optimization(CO)과 연결하고 적절한 매개변수에서 유사한 속도를 보인다.
• 확률적 HGD로 결과를 확장하고 대응하는 O(1/√k) 속도를 보인다.

제안 방법

• Hamiltonian H(x) = 1/2 ||ξ(x)||^2와 ξ(x) = (∂g/∂x1, -∂g/∂x2)로 정의한다.
• x^(k+1) = x^(k) - η ∇H(x^(k))를 업데이트하며, ∇H = ξ^T J를 통해 Hessian-벡터 곱을 필요로 한다.
• H(x)가 다양한 가정하에서 Polyak-Łojasiewicz(PL) 조건을 만족함을 보이고, 이로써 H에 대한 그래디언트 강하의 선형 수렴을 가능하게 한다.
• convex-concave 설정에서 강한 볼록성 없이도 선형 수렴을 보장하는 교차 미분 및 2차 항을 포함하는 새롭고 ‘충분히 바이리니어’ 조건(eq. 3)을 도입한다.
• HGD가 α 매개변수의 PL 조건하에서 수렴하면 ||ξ(x^(k))||가 기하급수적으로 (1 - α/L_H)^(k/2) 속도로 감소한다는 것을 보여준다.
• 확률적 HGD(O(1/√k) 속도) 및 CO에 적절한 매개변수 선택 하에서의 확장도 제공한다.

실험 결과

연구 질문

• RQ1 bilinear 및 강강건-강 concave 범주를 넘어서는 최소-최대 문제에 대해 마지막 반복 수렴을 전역적으로 보장할 수 있는가?
• RQ2 어떤 조건하에서 Hamiltonian Gradient Descent가 convex-concave 최소-최대 목적함수에 대해 선형, 비점근적 수렴을 달성하는가?
• RQ3 충분히 바이리니어 교차 미분 구조가 빠른 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ4 HGD의 확률적 버전 및 Consensus Optimization와 같은 관련 알고리즘은 이러한 설정에서 어떻게 수행되는가?

주요 결과

• HGD는 강한 볼록성/선형성 외의 여러 설정에서 글로벌 선형 마지막 반복 수렴을 달성하며, 충분히 바이리니어 조건하의 convex-concave 문제를 포함한다.
• H의 PL 조건이 JJ^T에 대한 경계로 설정되어 선형 수렴 보장을 가능하게 한다.
• 충분히 바이리니어 조건하에서 문제 상수(예: γ, L, μ, ρ, Γ)에 의존하는 속도와 함께 ||ξ(x^(k))||가 기하급수적으로 감소한다는 구체적 속도 표현을 보인다.
• 비볼록-비오목 및 관련 비볼록-선형 케이스에 대해, 논문은 명시적 PL 매개변수(α)를 도출하고 Hamiltonian의 그래디언트 노름의 선형 감소를 보인다.
• 확률적 HGD는 PL 프레임워크 하에서 O(1/√k) 수렴 속도를 상속하며, 표준 확률적 그래디언트 주장들을 사용한다.
• Consensus Optimization(CO)는 같은 설정에서 CO 업데이트 매개변수 γ가 충분히 크게 선택될 때 HGD와 동일한 선형 속도를 달성할 수 있다.