[논문 리뷰] Proximal Gradient Descent-Ascent: Variable Convergence under K{\L} Geometry

Ziyi Chen, Yi Zhou외 2명|arXiv (Cornell University)|2021. 02. 09.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 2

한 줄 요약

이 논문은 비볼록-강볼록 미니맥스 최적화에서 커르디카-로자예프스키(Kurdyka-Łojasiewicz, KŁ) 기하학 하에, 프록시멀 그래디언트 디센트-어센션(GDA)에 대한 첫 번째 가변 수렴 보장을 수립한다. 저자들은 반복을 비감소하게 하고 임계점을 향해 이동시키는 새로운 리아푸노프 함수를 도입함으로써, GDA가 KŁ 매개수 $\theta$ 에 따라 부분선형에서 유한단계까지 다양한 수렴 속도를 갖는 임계점 $x^*, y^*(x^*)$ 로 수렴함을 증명한다. 이 결과는 비볼록 미니맥스 설정에서 가변 수렴에 관한 근본적인 열린 질문을 해결한다.

ABSTRACT

The gradient descent-ascent (GDA) algorithm has been widely applied to solve minimax optimization problems. In order to achieve convergent policy parameters for minimax optimization, it is important that GDA generates convergent variable sequences rather than convergent sequences of function values or gradient norms. However, the variable convergence of GDA has been proved only under convexity geometries, and there lacks understanding for general nonconvex minimax optimization. This paper fills such a gap by studying the convergence of a more general proximal-GDA for regularized nonconvex-strongly-concave minimax optimization. Specifically, we show that proximal-GDA admits a novel Lyapunov function, which monotonically decreases in the minimax optimization process and drives the variable sequence to a critical point. By leveraging this Lyapunov function and the K{\L} geometry that parameterizes the local geometries of general nonconvex functions, we formally establish the variable convergence of proximal-GDA to a critical point $x^*$, i.e., $x_t o x^*, y_t o y^*(x^*)$. Furthermore, over the full spectrum of the K{\L}-parameterized geometry, we show that proximal-GDA achieves different types of convergence rates ranging from sublinear convergence up to finite-step convergence, depending on the geometry associated with the K{\L} parameter. This is the first theoretical result on the variable convergence for nonconvex minimax optimization.

연구 동기 및 목표

• 비볼록-강볼록 또는 강볼록-강볼록 설정을 초월한 비볼록 미니맥스 최적화에서 GDA의 가변 수렴에 대한 이론적 이해 부족 문제를 해결하기 위해.
• KŁ 기하학 프레임워크 하에서 비볼록-강볼록 미니맥스 문제에서 프록시멀-GDA가 임계점으로의 가변 수렴을 확립하기 위해.
• KŁ 매개수의 전 범위에 걸쳐 프록시멀-GDA의 수렴 속도를 특성화하고 국소 기하학이 수렴 속도에 미치는 영향을 연결하기 위해.
• 변수 수열 $x_t, y_t$ 가 임계점으로 수렴하도록 보장하는 비감소적인 리아푸노프 함수를 개발하기 위해.

제안 방법

• 프록시멀-GDA의 반복을 따라 비감소하는 새로운 리아푸노프 함수 $H(z_t)$ 를 제안하여, 임계점으로의 수렴을 보장한다.
• 국소 비볼록 기하학을 매개수화하기 위해 커르디카-로자예프스키(KŁ) 기하학을 활용하여 강볼록성과 PŁ 조건을 일반화한다.
• 리아푸노프 함수와 변수 차이 $A_t = \|x_t - x^*\|$ 를 포함하는 재귀 부등식을 유도하여 수렴 속도 분석을 수행한다.
• 재귀 부등식을 텔레스코프화하여 누적 변수 오차 $\sum_{s=t}^\infty A_s$ 를 유계화함으로써, $\|x_t - x^*\|$ 의 수렴 속도를 제어한다.
• KŁ 매개수 $\theta \in (0,1)$ 에 기반한 세 가지 경우를 분석한다: $\theta \in (0, \frac{1}{2})$, $\theta = \frac{1}{2}$, $\theta \in (\frac{1}{2}, 1)$ 로 나누어 각각 다른 수렴 속도를 도출한다.
• 최적 반응 맵 $y^*(x)$ 의 리프시츠 연속성과 부등식 사슬을 이용하여 $\|y_t - y^*(x^*)\|$ 를 $\|x_t - x^*\|$ 에 따라 유계화한다.

실험 결과

연구 질문

• RQ1 GDA는 비볼록 미니맥스 최적화에서 가변 수렴을 달성하는가? 만약 그렇다면, 어떤 점으로 수렴하는가?
• RQ2 목표 함수의 국소 기하학, 즉 KŁ 매개수 $\theta$ 가 GDA의 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 비볼록-강볼록 설정에서 비감소성을 보장하고 변수 수렴을 보장하는 리아푸노프 함수를 구성할 수 있는가?
• RQ4 KŁ 매개수의 전 범위에서 GDA의 수렴 속도는 어떤가? 부분선형에서 유한단계까지의 전 범위를 포함한다.

주요 결과

• KŁ 기하학 하에서 비볼록-강볼록 미니맥스 문제에서 프록시멀-GDA는 임계점 $x^*, y^*(x^*)$ 로 수렴하며, 이는 비볼록 미니맥스 최적화에서 가변 수렴 결과를 처음으로 확립한다.
• $\theta \in (\frac{1}{2}, 1)$ 인 경우, $\|x_t - x^*\|$ 의 수렴 속도는 $O\left(\exp\left(-\left(\frac{1}{2(1-\theta)}\right)^{t-t_1}\right)\right)$ 이며, 이는 유한단계 수렴을 의미한다.
• $\theta = \frac{1}{2}$ 인 경우, 수렴 속도는 선형이다: $O\left(\left(\min\left(2, 1 + \frac{1}{2Mc^2}\right)\right)^{-t/2}\right)$.
• $\theta \in (0, \frac{1}{2})$ 인 경우, 수렴 속도는 부분선형이다: $O\left((t - t_0)^{-\frac{1}{2(1-\theta)}}\right)$.
• $y^*(x)$ 의 리프시츠 연속성 덕분에 $\|y_t - y^*(x^*)\|$ 의 수렴 속도는 $\|x_t - x^*\|$ 와 동일하다.
• 제안된 리아푸노프 함수 $H(z_t)$ 는 비감소성을 보장하며 변수 수열이 임계점으로 수렴하도록 이끈다. 이는 수렴 속도 분석을 가능하게 한다.