[논문 리뷰] Fast Extra Gradient Methods for Smooth Structured Nonconvex-Nonconcave Minimax Problems

Sucheol Lee, Donghwan Kim|arXiv (Cornell University)|2021. 06. 04.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 부드럽고 구조화된 비볼록-비강하성 미니맥스 문제를 위한 새로운 이중시간스케일 외거시적 방법인 Fast Extragradient (FEG)을 제안한다. FEG는 음의 공동모노톤성 조건 하에서 제곱 그래디언트 노름의 가속화된 $Ó(1/k^2)$ 수렴 속도를 달성하며, 이는 이러한 비볼록-비강하성 설정에서 처음으로 이뤄진 빠른 수렴 속도이다.

ABSTRACT

Modern minimax problems, such as generative adversarial network and adversarial training, are often under a nonconvex-nonconcave setting, and developing an efficient method for such setting is of interest. Recently, two variants of the extragradient (EG) method are studied in that direction. First, a two-time-scale variant of the EG, named EG+, was proposed under a smooth structured nonconvex-nonconcave setting, with a slow $\mathcal{O}(1/k)$ rate on the squared gradient norm, where $k$ denotes the number of iterations. Second, another variant of EG with an anchoring technique, named extra anchored gradient (EAG), was studied under a smooth convex-concave setting, yielding a fast $\mathcal{O}(1/k^2)$ rate on the squared gradient norm. Built upon EG+ and EAG, this paper proposes a two-time-scale EG with anchoring, named fast extragradient (FEG), that has a fast $\mathcal{O}(1/k^2)$ rate on the squared gradient norm for smooth structured nonconvex-nonconcave problems; the corresponding saddle-gradient operator satisfies the negative comonotonicity condition. This paper further develops its backtracking line-search version, named FEG-A, for the case where the problem parameters are not available. The stochastic analysis of FEG is also provided.

연구 동기 및 목표

• GAN 및 적대적 훈련에서 흔한 부드럽고 구조화된 비볼록-비강하성 미니맥스 문제에 대해 빠른 일阶 방법의 부족을 해결한다.
• 기존 방법들인 EG+와 같은 설정 하에서 느린 $Ó(1/k)$ 수렴 속도를 극복한다.
• 비볼록-비강하성 설정에서 일阶 방법의 최선의 하한 복잡도와 상한 복잡도 사이의 격차를 메운다.
• 문제 파rameter의 사전 지식이 필요 없이도 빠른 수렴을 유지할 수 있는 실용적인 알고리즘을 개발한다.
• 실세계 응용에서의 강건성을 확보하기 위해 스위치 및 백트래킹 선색색 알고리즘 버전으로 분석을 확장한다.

제안 방법

• 안착 기반의 이중시간스케일 외거시적 프레임워크(FEG)를 제안하여 EG+의 안정성과 EAG의 가속화를 동시에 확보한다.
• 음의 공동모노톤성을 다루는 데 핵심적인 역할을 하는 $∇ f(\bm{z}_k)$ 항을 $\bm{z}_{k+1}$ 업데이트에 재사용하는 새로운 업데이트 규칙을 도입한다.
• 시간에 따라 변화하는 안착 계수 $\beta_k = \frac{1}{k+1}$ 와 스텝 크기 $\alpha_k = \frac{1}{L}$ 를 사용하여 최적의 수렴 속도를 달성한다.
• 리프시츠 상수 $L$ 가 알려져 있지 않은 설정을 위해 백트래킹 선색색 버전인 FEG-A를 유도한다.
• 수렴성과 수렴 속도 한계를 증명하기 위해 철저히 구성된 잠재함수 $V_k$ 를 사용한 리아푸노프 함수 분석을 수행한다.
• 노이즈가 있는 그래디언트 하에서 기대 제곱 그래디언트 노름에 대한 명시적 한계를 제공하는 스위치 버전인 S-FEG를 제안한다.

실험 결과

연구 질문

• RQ1 부드럽고 구조화된 비볼록-비강하성 미니맥스 문제에 대해 일阶 방법이 제곱 그래디언트 노름에서 $Ó(1/k^2)$ 수렴 속도를 달성할 수 있는가?
• RQ2 사슬-그래디언트 오퍼레이터에 대한 음의 공동모노톤성 조건이 기존 방법보다 더 빠른 수렴을 가능하게 하는가?
• RQ3 볼록-강하성 설정에서 효과적인 것으로 알려진 안착 기법이 비볼록-비강하성 문제에서 수렴 속도를 가속화하는 데 적합한가?
• RQ4 비모노톤 설정에서 안정화(이중시간스케일 업데이트를 통한)와 가속화(안착을 통한) 사이의 최적의 균형은 무엇인가?
• RQ5 리프시츠 상수가 포함된 문제 파rameter가 알려져 있지 않은 경우에도 방법이 강건하게 유지될 수 있는가?

주요 결과

• FEG는 음의 공동모노톤성 조건 하에서 기대 제곱 그래디언트 노름에 대해 $Ó(1/k^2)$ 수렴 속도를 달성하며, 이는 이러한 비볼록-비강하성 설정에서 처음으로 이뤄진 결과이다.
• 이 방법의 수렴 속도 한계는 볼록-강하성 설정에서 EAG의 수렴 속도 한계보다 약 27/4 배 작으며, 이는 상당한 가속화를 의미한다.
• 오퍼레이터가 코코어시브일 경우, FEG는 할퍼른 유형 반복보다 더 빠른 수렴을 보이며, 유리한 경우에서의 성능 향상을 입증한다.
• 스위치 버전인 S-FEG는 유한한 노이즈 하에서도 $Ó(1/k^2)$ 수렴 속도를 유지하며, 초기 상태 및 노이즈 분산에 대한 명시적 의존성을 보인다.
• 백트래킹 버전인 FEG-A는 문제의 리프시츠 상수가 사전에 알려져 있지 않은 경우에도 수렴을 보장한다.
• 이론적 분석 결과, FEG의 상한과 알려진 $Ó(1/k^2)$ 하한 복잡도 사이의 격차는 오직 4배 정도이므로, 거의 최적임을 시사한다.