[논문 리뷰] Stochastic Recursive Gradient Descent Ascent for Stochastic Nonconvex-Strongly-Concave Minimax Problems

Luo Luo, Haishan Ye외 2명|arXiv (Cornell University)|2020. 01. 11.

Stochastic Gradient Optimization Techniques참고 문헌 48인용 수 15

한 줄 요약

이 논문은 비볼록-강볼록 최소화 문제를 위한 새로운 확률적 재귀 경사수하강상승 알고리즘인 SREDA를 제안한다. 재귀적 분산 감소와 x 및 y 변수 간의 적응형 학습률 균형을 활용하여 SREDA는 최적의 확률적 경사수하강 복잡도 O(κ³ε⁻³)를 달성하며, 기존 최상의 성능인 SGDA의 O(κ³ε⁻⁴)보다 향상된다.

ABSTRACT

We consider nonconvex-concave minimax optimization problems of the form $\min_{\bf x}\max_{\bf y\in{\mathcal Y}} f({\bf x},{\bf y})$, where $f$ is strongly-concave in $\bf y$ but possibly nonconvex in $\bf x$ and ${\mathcal Y}$ is a convex and compact set. We focus on the stochastic setting, where we can only access an unbiased stochastic gradient estimate of $f$ at each iteration. This formulation includes many machine learning applications as special cases such as robust optimization and adversary training. We are interested in finding an ${\mathcal O}(\varepsilon)$-stationary point of the function $Φ(\cdot)=\max_{\bf y\in{\mathcal Y}} f(\cdot, {\bf y})$. The most popular algorithm to solve this problem is stochastic gradient decent ascent, which requires $\mathcal O(κ^3\varepsilon^{-4})$ stochastic gradient evaluations, where $κ$ is the condition number. In this paper, we propose a novel method called Stochastic Recursive gradiEnt Descent Ascent (SREDA), which estimates gradients more efficiently using variance reduction. This method achieves the best known stochastic gradient complexity of ${\mathcal O}(κ^3\varepsilon^{-3})$, and its dependency on $\varepsilon$ is optimal for this problem.

연구 동기 및 목표

• f가 x에 대해 비볼록이고 y에 대해 강볼록인 확률적 비볼록-강볼록 최소화 문제에서 ε-정류점(ε-stationary point)을 찾는 데 도전하는 것.
• SGDA와 같은 기존 방법들이 요구하는 높은 확률적 경사수하강 복잡도 O(κ³ε⁻⁴)를 극복하는 것.
• x와 y 변수의 학습률과 반복 횟수를 효율적으로 균형 잡는 분산 감소 기반 알고리즘 개발.
• ε에 대한 최적의 의존성 확보를 위해 경사수하강 복잡도를 O(κ³ε⁻³)로 감소시켜 비볼록 최적화의 이론적 하한선과 일치시키는 것.
• 유한합과 일반적인 확률적 설정을 모두 포함하는 통합 분석을 제공하고, 두 경우 모두 날카로운 복잡도 상한을 확보하는 것.

제안 방법

• x와 y 업데이트에서 분산을 줄이기 위해 재귀적 경사수하강 추정기를 유지하는 확률적 재귀 경사수하강상승 알고리즘인 SREDA를 제안한다.
• y 업데이트를 위한 다단계 내부 루프를 사용하여 경사수하강 추정의 안정성을 높이고 x와 y 변수 간의 학습률 균형을 맞춘다.
• y 업데이트 속도가 x 업데이트 속도보다 O(κ²) 배 더 크도록 적응형 학습률을 도입하여 중첩 루프 없이 수렴 보장을 달성한다.
• x와 y의 경사수하강 추정기 모두에 재귀적 분산 감소 기법을 적용하여 확률적 경사수하강 평가 횟수를 감소시킨다.
• 에포크 기반 업데이트와 적응형 스텝 크기를 갖춘 이중 루프 구조를 사용하며, 외부 루프는 경사수하강 추정기의 정확도를 제어한다.
• 리아푸노프 함수를 사용한 수렴 분석을 수행하고, Φ(x) = max_y f(x,y)의 기대값이 O(ε)로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 분산 감소 기법은 비볼록-강볼록 최소화 문제에 효과적으로 적용될 수 있는가? 이를 통해 경사수하강 복잡도를 향상시킬 수 있는가?
• RQ2 비볼록-강볼록 최소화 문제를 해결하는 확률적 1차 알고리즘의 경우 ε에 대한 최적의 의존성은 무엇인가?
• RQ3 재귀적 경사수하강 추정은 SGDA에서 중첩 루프가 필요 없이도 수렴 보장을 유지하면서 제거할 수 있는가?
• RQ4 조건수 κ는 이 클래스의 문제에 대해 확률적 설정에서 수렴 속도에 어떻게 영향을 미치는가?
• RQ5 Φ(x) = max_y f(x,y)의 ε-정류점을 찾기 위해 필요한 최소한의 확률적 경사수하강 평가 횟수는 얼마인가?

주요 결과

• SREDA는 O(κ³ε⁻³)의 확률적 경사수하강 복잡도를 달성하며, 이는 최적이며 비볼록 최적화의 알려진 하한선과 일치한다.
• SGDA의 O(κ³ε⁻⁴) 복잡도에 비해 ε에 대한 의존성을 ε⁻⁴에서 ε⁻³으로 감소시켜 성능을 향상시킨다.
• 유한합 케이스에서는 SREDA가 O((n + κ)log(κ/ε))의 경사수하강 평가 횟수를 달성하며, n과 κ에 대해 거의 최적이다.
• n ≥ κ²인 영역에서는 O(n log(κ/ε) + κ²n¹ᐟ²ε⁻²)의 복잡도를 보이며, n에 대해 유리한 스케일링 특성을 보인다.
• n ≤ κ²인 영역에서는 O((κ² + κn)ε⁻²)의 복잡도를 유지하며, 작은 n에 대해서도 효율적이다.
• 분석을 통해 재귀적 경사수하강 추정기가 분산을 효과적으로 감소시켜, 명시적 max-오라클 쿼리 없이도 더 빠른 수렴을 가능하게 함을 확인했다.