[논문 리뷰] On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems

Tianyi Lin, Chi Jin외 1명|arXiv (Cornell University)|2019. 06. 02.

Sparse and Compressive Sensing Techniques참고 문헌 53인용 수 118

한 줄 요약

본 논문은 이중 시계열(두-타임스케일) gradient descent ascent(GDA)와 stochastic GDA(SGDA)를 비볼록-오목 문제에서 분석하고, Phi(x)=max_y f(x,y)의 epsilon-정지점으로의 비점근적 수렴과 두 경우에서의 명시적 그래디언트 및 확률적 그래디언트 복잡도를 증명한다. 비볼록-강-오목 및 비볼록-오목 설정 모두에 대해 수렴 및 복잡도에 대한 구체적 결과를 제공한다.

ABSTRACT

We consider nonconvex-concave minimax problems, $\min_{\mathbf{x}} \max_{\mathbf{y} \in \mathcal{Y}} f(\mathbf{x}, \mathbf{y})$, where $f$ is nonconvex in $\mathbf{x}$ but concave in $\mathbf{y}$ and $\mathcal{Y}$ is a convex and bounded set. One of the most popular algorithms for solving this problem is the celebrated gradient descent ascent (GDA) algorithm, which has been widely used in machine learning, control theory and economics. Despite the extensive convergence results for the convex-concave setting, GDA with equal stepsize can converge to limit cycles or even diverge in a general setting. In this paper, we present the complexity results on two-time-scale GDA for solving nonconvex-concave minimax problems, showing that the algorithm can find a stationary point of the function $Φ(\cdot) := \max_{\mathbf{y} \in \mathcal{Y}} f(\cdot, \mathbf{y})$ efficiently. To the best our knowledge, this is the first nonasymptotic analysis for two-time-scale GDA in this setting, shedding light on its superior practical performance in training generative adversarial networks (GANs) and other real applications.

연구 동기 및 목표

• x에서 비볼록, y에서 오목한 f(x,y)를 갖는 형태의 min_x max_y f(x,y) 비볼록-오목 최소극 문제를 동기부여하고 연구한다.
• 두 타임스케일 GDA 및 SGDA에 대한 비점근적 수렴 보장을 제공한다.
• 다른 문제 구조에서 그래디언트 평가 및 확률적 그래디언트 평가의 관점에서 알고리즘 복잡도를 특성화한다.
• GAN 및 강건 학습 설정에서의 실용적 성능에 대한 통찰을 제공한다.

제안 방법

• eta_x << eta_y인 두 타임스케일 GDA를 연구하여 비볼록-(강하게-)오목 문제에서 수렴을 안정화한다.
• 비볼록-강하게-오목 설정에서 Phi(x)=max_y f(x,y)의 epsilon-정지점을 찾고, 그래디언트 복잡도는 명시적으로 O(kappa^2 epsilon^-2)임을 보인다.
• 동일한 설정에서 SGDA가 그래디언트 및 확률적 그래디언트 복잡도 O(kappa^3 epsilon^-4)를 달성하며 배치 크기 M=Theta(max{1,kappa sigma^2 epsilon^-2})를 사용한다.
• 비볼록-오목 설정에서 이 방법들이 Moreau 엔벨로프 기반의 정지성 개념을 사용하여 O(epsilon^-6) 그래디언트 평가 및 O(epsilon^-8) 확률적 그래디언트 평가를 달성함을 보인다.
• 해석이 천천히 변하는 오목한 목적에 어떻게 대응하는지 및 Moreau 엔벨로프 정지성을 부분기울기(subgradient) 개념과 어떻게 연결하는지 논의한다.

실험 결과

연구 질문

• RQ1 두 타임스케일 GDA/SGDA가 비볼록-오목 최소극 문제에서 증명 가능한 epsilon-정지점으로 수렴할 수 있는가?
• RQ2 비볼록-강하게-오목 및 비볼록-오목 설정에서 두 타임스케일 GDA/SGDA의 비점근적 그래디언트 및 확률적 그래디언트 복잡도는 어느 정도인가?
• RQ3 스텝 사이즈 선택(eta_x, eta_y)와 그 비율이 수렴성과 복잡도에 어떻게 영향을 미치는가?
• RQ4 이 맥락에서 Moreau 엔벨로프 기반 정지성 개념이 전통적인 부분그래디언트 기반 정지성과 어떻게 관련되는가?

주요 결과

• 비볼록-강하게-오목 문제에서 두 타임스케일 GDA는 Phi의 epsilon-정지점에 도달하기 위해 O(kappa^2 epsilon^-2)의 그래디언트 평가를 달성하고, SGDA는 O(kappa^3 epsilon^-4)의 확률적 그래디언트 평가를 달성한다.
• 비볼록-오목 문제에서 두 타임스케일 GDA는 해당 정지성 개념에 도달하기 위해 O(epsilon^-6) 그래디언트 평가가 필요하고, SGDA는 O(epsilon^-8)의 확률적 그래디언트 평가가 필요하다.
• 스텝-사이즈의 비율 eta_y/eta_x는 Theta(kappa^2)여야 하며, 이는 미니맥스 문제의 비대칭적 특성을 반영하고 안정성을 보장한다.
• 해석은 천천히 변화하는 목적함수를 갖는 오목 최적화를 분석하는 새로운 기법을 도입하여 단일 루프 GDA/SGDA에 대한 비점근 보장을 가능하게 한다.
• 결과는 결정적(그래디언트) 및 확률적(SGDA) 설정 모두에 해당하며, 문제의 컨디셔닝 및 유효 y-집합의 지름에 대한 명시적 의존성을 가진다.