[논문 리뷰] Near-Optimal Algorithms for Minimax Optimization

Tianyi Lin, Chi Jin외 1명|arXiv (Cornell University)|2020. 02. 05.

Sparse and Compressive Sensing Techniques참고 문헌 69인용 수 45

한 줄 요약

본 논문은 매끄러운 및 strongly-convex-strongly-concave 최적-최대 문제에 대해 거의 최적에 가까운 1차 알고리즘을 도입하고, log 계수까지는 하한선 기울기 복잡도(lower-bound gradient complexity)를 달성한다. 또한 비볼록(nonconvex) 사례를 포함한 다른 설정으로 가속화를 확장한다.

ABSTRACT

This paper resolves a longstanding open question pertaining to the design of near-optimal first-order algorithms for smooth and strongly-convex-strongly-concave minimax problems. Current state-of-the-art first-order algorithms find an approximate Nash equilibrium using $ ilde{O}(κ_{\mathbf x}+κ_{\mathbf y})$ or $ ilde{O}(\min\{κ_{\mathbf x}\sqrt{κ_{\mathbf y}}, \sqrt{κ_{\mathbf x}}κ_{\mathbf y}\})$ gradient evaluations, where $κ_{\mathbf x}$ and $κ_{\mathbf y}$ are the condition numbers for the strong-convexity and strong-concavity assumptions. A gap still remains between these results and the best existing lower bound $ ildeΩ(\sqrt{κ_{\mathbf x}κ_{\mathbf y}})$. This paper presents the first algorithm with $ ilde{O}(\sqrt{κ_{\mathbf x}κ_{\mathbf y}})$ gradient complexity, matching the lower bound up to logarithmic factors. Our algorithm is designed based on an accelerated proximal point method and an accelerated solver for minimax proximal steps. It can be easily extended to the settings of strongly-convex-concave, convex-concave, nonconvex-strongly-concave, and nonconvex-concave functions. This paper also presents algorithms that match or outperform all existing methods in these settings in terms of gradient complexity, up to logarithmic factors.

연구 동기 및 목표

• 최소-최대 최적화에 관한 알려진 상한 그래디언트 복잡도와 하한 간의 차이를 동기부여하고 해결한다.
• 강하게 볼록-강하게 오목한 및 강하게 볼록-오목한 최소-최대 문제에 대해 거의 최적의 1차 알고리즘을 설계한다.
• 가속 프레임워크를 convex-concave, nonconvex-strongly-concave, 및 nonconvex-concave 설정으로 확장한다.
• 최소-최대 근사적 단계의 가속 해결기와 실용적이고 증명 가능한 효율적인 구현을 제공한다.
• 기존 결과와의 비교 분석을 제공하고 그래디언트 복잡도 면에서의 개선점을 강조한다.

제안 방법

• 불완전한 프로시멀 서브문제 해결을 포함한 가속 포인트 프레임워크(APPA)를 개발한다.
• min_x max_y f(x,y) + ell||x - x̃||^2 형태의 하위 문제를 풀기 위해 최소-최대 근사 프로시멀 단계에 대한 가속 해결기를 사용한다.
• Maximin-AG2를 도입한다. 이는 AGD/AGA 서브루틴을 통해 x에 대한 가속 최소화와 y에 대한 가속 상승을 교대로 수행하는 알고리즘이다.
• Nesterov의 가속 그래디언트 기법과 가속 해결기를 활용하여 strongly-convex-strongly-concave 설정에서 tilde-O(√(κ_x κ_y)) 그래디언트 복잡도를 달성한다.
• 형식적 수렴 보장을 갖춘 알고리즘 구성요소들(AGD, Inexact-APPA, 및 가속된 최소-최대 해결기)을 제공한다.
• 프레임워크를 convex-concave, nonconvex-strongly-concave, 및 nonconvex-concave 설정으로 확장하고 거의 최적의 속도를 달성한다.

실험 결과

연구 질문

• RQ1 강하게 볼록-강하게 오목한 최소-최대 문제에 대해 1차 방법이 하한선 tilde-O(√(κ_x κ_y)) 그래디언트 복잡도를 달성할 수 있는가?
• RQ2 강하게 볼록-오목한 최소-최대 문제와 그 확장에 대해 거의 최적의 속도를 낳는 알고리즘 구조는 무엇인가?
• RQ3 가속화를 프로시멀 포인트와 최소-최대 단계에 어떻게 통합하여 광범위한 최소-최대 문제(convex-concave 및 nonconvex-concave)를 다룰 수 있는가?
• RQ4 가속된 프로시멀 스텝 해결기가 비볼록 설정으로 일반화되면서도 우수한 그래디언트 복잡도를 유지할 수 있는가?
• RQ5 제안된 방법들이 설정 간(convex-concave, strongly convex-concave, nonconvex-concave)에서 기존의 상한 및 하한과 어떻게 비교되는가?

주요 결과

• strongly-convex-strongly-concave minimax에 대해 tilde-O(√(κ_x κ_y)) 그래디언트 복잡도를 달성하고, 로그 계수까지 알려진 하한과 일치한다.
• strongly-convex-concave minimax에 대해 tilde-O(√(κ_x/ε)) 그래디언트 복잡도를 얻어, 로그 계수까지 하한에 부합한다.
• convex-concave 설정에서 tilde-O(ε^{-1}) 그래디언트 복잡도를 얻어, 로그 계수까지 하한 및 기존 상한과 일치한다.
• 덜 제한적인 매끄러움 가정 하에서도 작동하는 최소-최대 프로시멀 스텝용 가속 해결기를 개발한다(APPA를 통해).
• 비볼록-강하게 오목하고 비볼록-오목한 최소-최대 문제에 대해 개선된 정지성 기반 속도(예: ε^{-2.5}에서 ε^{-3} 구간)를 갖는 가속 알고리즘을 제공한다.
• 여러 가지 최소-최대 체제를 포괄하는 통합 프레임워크(APPA + Maximin-AG2)로 증명 가능한 보장을 제공한다.