[논문 리뷰] Proximal Gradient Descent-Ascent: Variable Convergence under KŁ Geometry

Ziyi Chen, Yi Zhou외 2명|arXiv (Cornell University)|2021. 02. 09.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 8

한 줄 요약

이 논문은 비볼록-강볼록 미니맥스 최적화에서 쿠르다카-로자예브스키(Kurdyka-Łojasiewicz, KŁ) 기하학 하에, 프록시멀 경사하강법-상승법(Proximal GDA)에 대한 최초의 변수 수렴 보장을 확립한다. 저자들은 반복점을 임계점으로 이끄는 단조 감소하는 새로운 리아푸노프 함수를 도입함으로써, KŁ 매개수에 따라 선형 또는 비선형 수렴 속도를 증명하며, 비볼록 미니맥스 설정에서 오랫동안 남아있던 변수 수렴에 관한 열린 문제를 해결한다.

ABSTRACT

The gradient descent-ascent (GDA) algorithm has been widely applied to solve minimax optimization problems. In order to achieve convergent policy parameters for minimax optimization, it is important that GDA generates convergent variable sequences rather than convergent sequences of function values or gradient norms. However, the variable convergence of GDA has been proved only under convexity geometries, and there lacks understanding for general nonconvex minimax optimization. This paper fills such a gap by studying the convergence of a more general proximal-GDA for regularized nonconvex-strongly-concave minimax optimization. Specifically, we show that proximal-GDA admits a novel Lyapunov function, which monotonically decreases in the minimax optimization process and drives the variable sequence to a critical point. By leveraging this Lyapunov function and the KŁ geometry that parameterizes the local geometries of general nonconvex functions, we formally establish the variable convergence of proximal-GDA to a critical point $x^*$, i.e., $x_t o x^*, y_t o y^*(x^*)$. Furthermore, over the full spectrum of the KŁ-parameterized geometry, we show that proximal-GDA achieves different types of convergence rates ranging from sublinear convergence up to finite-step convergence, depending on the geometry associated with the KŁ parameter. This is the first theoretical result on the variable convergence for nonconvex minimax optimization.

연구 동기 및 목표

• 비볼록 미니맥스 최적화에서 경사하강법-상승법(GDA)이 변수 수렴을 달성하는지 여부에 대한 근본적인 열린 문제를 해결하기 위해.
• Kurdyka-Łojasiewicz(KŁ) 조건으로 매개수화된 국소 함수 기하학이 GDA의 수렴 속도에 어떻게 영향을 미치는지 규명하기 위해.
• 비볼록-강볼록 미니맥스 문제에서 변수 수렴을 분석하기 위한 새로운 이론적 프레임워크를 수립하기 위해.
• 기존의 볼록-볼록 또는 강볼록-강볼록 기하학을 초월하여 일반적인 비볼록 설정으로 수렴 결과를 확장하기 위해.

제안 방법

• 정규화된 비볼록-강볼록 미니맥스 문제에 적합한 프록시멀-GDA 알고리즘을 제안한다.
• 최적화 과정 전반에 걸쳐 단조 감소하는 새로운 리아푸노프 함수를 도입한다.
• KŁ 기하학을 활용하여 국소 비볼록 함수 기하학을 매개수화하고, 이 일반 프레임워크 하에서 수렴성을 분석한다.
• 다양한 KŁ 매개수 영역에서 리아푸노프 함수의 감쇠를 분석하여 수렴 속도의 경계를 유도한다.
• 재귀 부등식과 합계 추정을 사용하여 반복점이 임계점까지의 거리를 경계한다.
• 반복점이 임계점으로 수렴함을 증명함으로써 변수 수렴을 확립한다: $\|x_t - x^*\| \to 0$ 및 $\|y_t - y^*(x^*)\| \to 0$ 이다.

실험 결과

연구 질문

• RQ1 GDA는 비볼록 미니맥스 최적화에서 변수 수렴을 달성하는가, 만약 그렇다면 어떤 점으로 수렴하는가?
• RQ2 목적 함수의 국소 기하학, 즉 KŁ 매개수로 캡처된 바, GDA의 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 비볼록-강볼록 설정에서 반복점이 임계점으로 수렴하도록 보장하는 리아푸노프 함수를 구성할 수 있는가?
• RQ4 다양한 KŁ 매개수 값에서 GDA가 달성할 수 있는 수렴 속도의 전반적인 스펙트럼은 무엇인가?

주요 결과

• 프록시멀-GDA 알고리즘은 KŁ 기하학 하에서 임계점 $x^*$, $y^*(x^*)$ 으로 변수 수렴을 달성한다. 즉, $x_t \to x^*$ 및 $y_t \to y^*(x^*)$ 이다.
• KŁ 매개수 $\theta$ 에 따라 수렴 속도는 비선형에서 유한단계 수렴까지 다양하다. $\theta \in (0, \frac{1}{2})$ 에서는 $\|x_t - x^*\| = \mathcal{O}((t - t_0)^{-\theta/(1 - 2\theta)})$ 이다.
• $\theta = \frac{1}{2}$ 인 경우 선형 수렴 속도를 보이며, $\|x_t - x^*\| = \mathcal{O}(\min(2, 1 + \frac{1}{2Mc^2})^{-t/2})$ 이다.
• KŁ 매개수 $\theta \in (\frac{1}{2}, 1)$ 를 만족할 경우 수렴 속도는 유한단계 수렴으로 향상되나, 제공된 텍스트에서는 이 영역이 명시적으로 설명되지 않았다.
• 새로운 리아푸노프 함수는 단조 감소를 보장하고 비볼록 설정에서 변수 수렴 분석을 가능하게 한다.
• 이 결과는 비볼록 미니맥스 최적화에서 GDA에 대한 최초의 이론적 변수 수렴 보장을 확립하며, 문헌에서 중요한 격차를 메운다.