[논문 리뷰] A Second-order Equilibrium in Nonconvex-Nonconcave Min-max Optimization: Existence and Algorithm.

Oren Mangoubi, Nisheeth K. Vishnoi|arXiv (Cornell University)|2020. 06. 22.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 7

한 줄 요약

이 논문은 비볼록-비볼록 최소화-최대화 최적화를 위한 새로운 제2차 균형 개념인 '탐욕적 최소-최대 균형'을 제안한다. 이는 강한 가정(예: 볼록성, 단조성) 없이도 유한한 첫 번째에서 세 번째 도함수를 갖는 조건 하에서 다항 시간 알고리즘을 통해 존재성과 수렴성을 보장한다.

ABSTRACT

Min-max optimization, with a nonconvex-nonconcave objective function $f: \mathbb{R}^d imes \mathbb{R}^d ightarrow \mathbb{R}$, arises in many areas, including optimization, economics, and deep learning. The nonconvexity-nonconcavity of $f$ means that the problem of finding a global $\varepsilon$-min-max point cannot be solved in $\mathrm{poly}(d, \frac{1}{\varepsilon})$ evaluations of $f$. Thus, most algorithms seek to obtain a certain notion of local min-max point where, roughly speaking, each player optimizes her payoff in a local sense. However, the classes of local min-max solutions which prior algorithms seek are only guaranteed to exist under very strong assumptions on $f$, such as convexity or monotonicity. We propose a notion of a greedy equilibrium point for min-max optimization and prove the existence of such a point for any function such that it and its first three derivatives are bounded. Informally, we say that a point $(x^\star, y^\star)$ is an $\varepsilon$-greedy min-max equilibrium point of a function $f: \mathbb{R}^d imes \mathbb{R}^d ightarrow \mathbb{R}$ if $y^\star$ is a second-order local maximum for $f(x^\star,\cdot)$ and, roughly, $x^\star$ is a local minimum for a greedy optimization version of the function $\max_y f(x,y)$ which can be efficiently estimated using greedy algorithms. The existence follows from an algorithm that converges from any starting point to such a point in a number of gradient and function evaluations that is polynomial in $\frac{1}{\varepsilon}$, the dimension $d$, and the bounds on $f$ and its first three derivatives. Our results do not require convexity, monotonicity, or special starting points.

연구 동기 및 목표

• 비볼록-비볼록 최소-최대 최적화에서 표준 개념이 볼록성 또는 단조성과 같은 강력한 가정 없이 실패하는 바탕으로 인해, 안정적인 국소 해 개념이 부족한 문제를 해결하고자 한다.
• 일반적인 부드러운 함수에 대해 잘 정의되고 증명 가능한 존재성을 갖는 새로운 균형 개념인 '탐욕적 최소-최대 균형'을 정의하고자 한다.
• 임의의 시작점에서부터 수렴하는 알고리즘을 설계하여, 차원과 정밀도의 다항 시간 복잡도를 확보하고자 한다.
• 균형점의 존재성과 계산 과정에서 볼록성, 볼록성, 단조성과 같은 강력한 구조적 가정에 의존하지 않도록 하고자 한다.

제안 방법

• 탐욕적 최소-최대 균형점의 개념을 도입하며, 여기서 $ y^* $ 는 $ f(x^*, \cdot) $ 의 제2차 국소 최대점이며, $ x^* $ 는 $ \max_y f(x, y) $ 의 탐욕적 근사의 국소 최소점임을 의미한다.
• 값 함수 $ \max_y f(x, y) $ 의 탐욕적 근사를 사용하며, 이는 $ y $ 에 대한 반복 최대화 단계를 통해 효율적으로 추정 가능하여 $ x $ 에서의 국소 최소화를 가능하게 한다.
• 기울기 및 함수 평가를 반복적으로 이용하여 $ (x, y) $ 를 점진적으로 개선함으로써, $ \varepsilon $-탐욕적 최소-최대 균형점으로의 수렴을 보장한다.
• 헤시안과 제3차 도함수 분석을 통해 수렴성을 확립하며, $ y $-플레이어 문제에서 안정성과 제2차 최적성 보장한다.
• 함수 $ f $ 와 그 첫 번째에서 세 번째 도함수의 유계성을 바탕으로 오차 전파를 통제하고, 차원 $ d $, $ 1/\varepsilon $, 그리고 도함수 유계성에 대해 다항 시간 런타임을 보장한다.
• 특수한 초기화나 구조적 가정이 필요 없는 알고리즘을 설계하여, 비볼록-비볼록 설정에 광범위하게 적용 가능하도록 한다.

실험 결과

연구 질문

• RQ1 볼록성 또는 단조성을 요구하지 않는 비볼록-비볼록 최소-최대 문제에 대해 잘 정의된 국소 균형 개념을 설정할 수 있는가?
• RQ2 제2차 최적성은 $ y $-플레이어 문제에서 확보하고, $ x $-플레이어의 탐욕적 근사에서 국소 최적성을 확보하는 해 개념이 존재하는가?
• RQ3 약한 부드러움 조건 하에서 차원과 정밀도에 대해 다항 시간 수렴을 보장하는 알고리즘이 존재하는가?
• RQ4 목적 함수에 대한 구조적 가정 없이도 임의의 시작점에서 수렴이 가능한가?

주요 결과

• 함수 $ f: \mathbb{R}^d \times \mathbb{R}^d \to \mathbb{R} $ 의 첫 번째에서 세 번째 도함수와 함수 자체가 모두 유계일 경우, $ \varepsilon $-탐욕적 최소-최대 균형점이 존재한다.
• 제안된 알고리즘은 $ d $, $ 1/\varepsilon $, 그리고 $ f $ 와 그 도함수의 유계성에 대해 다항 시간에 해당 균형점으로 수렴한다.
• 목적 함수의 볼록성, 볼록성, 또는 단조성을 요구하지 않아도 균형점의 존재성이 보장된다.
• 특수한 초기화나 시작점에 대한 가정 없이도 알고리즘이 작동하여, 약한 부드러움 조건 하에서 전역 수렴을 보장한다.
• 해 개념은 $ y $-플레이어 전략에서 제2차 국소 최적성을 반영하여, 제1차 개념보다 더 강한 안정성을 제공한다.
• 기존의 최소-최대 해가 존재하지 않는 비볼록-비볼록 설정에서도 의미 있는 균형점을 효율적으로 계산할 수 있다.