[논문 리뷰] Nonconvex-Nonconcave Min-Max Optimization with a Small Maximization Domain

Dmitrii M. Ostrovskii, Babak Barazandeh외 1명|arXiv (Cornell University)|2021. 10. 08.

Sparse and Compressive Sensing Techniques참고 문헌 101인용 수 4

한 줄 요약

이 논문은 비볼록-비볼록 최소최대 최적화 문제를 해결하기 위한 새로운 접근법을 제안한다. 내부 최대화를 $ y $에 대한 고차수 테일러 전개로 근사함으로써, 최대화 도메인 $ Y $ 의 직경이 작다는 핵심 가정 하에 해결한다. 주요 기여는 $ k $-차수 근사에 대해 $ Y $ 의 직경이 $ O(\varepsilon^{2/(k+1)}) $ 일 때, 서로서티 문제에서의 $ \varepsilon $-정류점이 원래 문제에서 $ O(\varepsilon) $-정류점으로 유지됨을 이론적으로 보장하는 것이다. 또한 이론적으로 거의 최적의 경계가 필요하다는 것이 입증된다.

ABSTRACT

We study the problem of finding approximate first-order stationary points in optimization problems of the form $\min_{x \in X} \max_{y \in Y} f(x,y)$, where the sets $X,Y$ are convex and $Y$ is compact. The objective function $f$ is smooth, but assumed neither convex in $x$ nor concave in $y$. Our approach relies upon replacing the function $f(x,\cdot)$ with its $k$th order Taylor approximation (in $y$) and finding a near-stationary point in the resulting surrogate problem. To guarantee its success, we establish the following result: let the Euclidean diameter of $Y$ be small in terms of the target accuracy $\varepsilon$, namely $O(\varepsilon^{\frac{2}{k+1}})$ for $k \in \mathbb{N}$ and $O(\varepsilon)$ for $k = 0$, with the constant factors controlled by certain regularity parameters of $f$; then any $\varepsilon$-stationary point in the surrogate problem remains $O(\varepsilon)$-stationary for the initial problem. Moreover, we show that these upper bounds are nearly optimal: the aforementioned reduction provably fails when the diameter of $Y$ is larger. For $0 \le k \le 2$ the surrogate function can be efficiently maximized in $y$; our general approximation result then leads to efficient algorithms for finding a near-stationary point in nonconvex-nonconcave min-max problems, for which we also provide convergence guarantees.

연구 동기 및 목표

• 비볼록-비볼록 최소최대 문제에서 $ f $ 가 $ x $ 에 대해 볼록이 아니며 $ y $ 에 대해 볼록이 아닌 경우의 근사 1차 정류점 찾기 과제를 해결하기 위해.
• 최소최대 문제의 $ y $-변수에 대한 $ f(x, \cdot) $ 의 고차수 테일러 근사를 활용하여 해석 가능한 알고리즘 프레임워크를 개발하기 위해.
• 서로서티 문제의 해가 원래 문제에서 거의 정류점이 되는 이론적 조건을 설정하기 위해, 특히 $ Y $ 의 직경이 수행하는 역할을 중점적으로 다루기 위해.
• 필요로 하는 작은 직경 조건이 거의 최적임을 보이며, 유도된 임계값을 초과할 경우 감소가 실패함을 보여주기 위해.
• GANs와 강건 훈련과 같은 머신러닝 응용 분야에서 실용적으로 적용할 수 있도록 $ k = 0,1,2 $ 에 대해 효율적인 알고리즘과 수렴 보장을 제공하기 위해.

제안 방법

• 내부 최대화 문제를 $ y $ 에 대한 $ k $-차수 테일러 근사로 대체하여, 해결하기 쉬운 서로서티 최소최대 문제를 구성한다.
• 특히 $ k \in \mathbb{N} $ 에 대해 $ O(\varepsilon^{2/(k+1)}) $, $ k=0 $ 에 대해 $ O(\varepsilon) $ 의 직경을 갖는 작은 $ Y $ 를 사용하여, 서로서티 문제의 해가 원래 문제의 정류점과 근사함을 보장한다.
• 서로서티 문제에서의 $ \varepsilon $-정류점이 원래 문제에서 $ O(\varepsilon) $-정류점임을 보여주는 이론적 경계를 수립한다. 이 경계의 상수는 $ f $ 의 정규성 파라미터에 따라 달라진다.
• 특히 $ k \leq 2 $ 일 경우, 서로서티 문제의 $ y $ 에 대한 최대화를 효율적으로 수행할 수 있어, 수렴 보장이 있는 실용적 알고리즘 설계가 가능하다.
• 서로서티 문제의 내부 최대화 하위문제를 효율적으로 해결하기 위해 랭크조스 방법을 활용하며, $ O(m) $ 개의 행렬-벡터 곱셈과 $ O(md_{\textsf{y}}) $ 메모리 사용을 요구한다. 여기서 $ m $ 은 랭크조스 반복 횟수이다.
• QR 기반 정규직교화와 블록 3중대각 행렬의 구조를 활용하여 수치적 안정성을 확보하고, 카이로프 부분공간 내 헤시안 근사 계산을 효율적으로 수행한다.

실험 결과

연구 질문

• RQ1 서로서티 문제에서의 $ k $-차수 테일러 근사가 원래 최소최대 문제에서 $ \varepsilon $-정류점을 유지하기 위해 $ Y $ 의 직경에 대해 어떤 조건이 필요한가?
• RQ2 필요로 하는 직경 척도 $ O(\varepsilon^{2/(k+1)}) $ 는 거의 최적인가, 아니면 개선 가능할까?
• RQ3 $ k \leq 2 $ 일 때, 유도된 서로서티 문제를 효율적으로 해결할 수 있으며, 어떤 수렴 보장을 확보할 수 있는가?
• RQ4 함수 $ f $ 의 정규성 파라미터는 근사 정확도와 $ Y $ 의 필요 직경에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 고차원 설정이 일반적인 머신러닝 환경에서도 실용적으로 효율적으로 구현 가능한가?

주요 결과

• 서로서티 문제에서의 $ \varepsilon $-정류점이 원래 문제에서 $ O(\varepsilon) $-정류점으로 유지되기 위해 $ Y $ 의 직경은 $ k \in \mathbb{N} $ 에 대해 $ O(\varepsilon^{2/(k+1)}) $, $ k=0 $ 에 대해 $ O(\varepsilon) $ 여야 한다.
• 필요로 하는 직경 조건은 거의 최적이다. 직경이 유도된 임계값을 초과할 경우 감소가 명백히 실패하므로 경계의 날카로움이 입증된다.
• $ k = 0,1,2 $ 에 대해 서로서티 문제의 $ y $ 에 대한 최대화를 효율적으로 수행할 수 있어, 수렴 보장이 있는 실용적 알고리즘 설계가 가능하다.
• 알고리즘의 계산 비용은 $ O(m(d_{\textsf{y}} + \text{time}(\text{HVP}))) $ 이며, 여기서 $ m $ 은 랭크조스 반복 횟수이고 $ \text{time}(\text{HVP}) $ 는 헤시안-벡터 곱셈을 계산하는 데 드는 비용이다.
• 메모리 사용량은 $ O(md_{\textsf{y}} + \text{mem}(\text{HVP})) $ 이며, 해 벡터가 아닌 최적의 값만 필요로 할 경우 $ O(m + d_{\textsf{y}}) $ 로 줄일 수 있다.
• 도메인 $ Y $ 가 목표 정확도 $ \varepsilon $ 에 비해 충분히 작을 경우, 서로서티 문제의 해가 원래 문제에서 유효한 $ O(\varepsilon) $-정류점으로 남아 있음을 보장한다.