[논문 리뷰] Optimality and Stability in Non-Convex Smooth Games

Guojun Zhang, Pascal Poupart외 1명|arXiv (Cornell University)|2020. 02. 27.

Stochastic Gradient Optimization Techniques참고 문헌 69인용 수 6

한 줄 요약

이 논문은 비볼록 스무스 게임에서 국소 미니맥스 점의 포괄적인 분석을 제공하며, 안장점과의 관계를 규명하고 국소 강건점(LRPs)이라는 새로운 개념을 도입한다. 비퇴화된 경우에 경사 알고리즘(예: OGD, EG)은 국소 미니맥스 점으로 수렴할 수 있으나, 일반적으로는 불안정성으로 인해 실패하므로, 기존의 미니맥스 점을 넘어서는 새로운 알고리즘 또는 해법 개념이 필요하다.

ABSTRACT

Convergence to a saddle point for convex-concave functions has been studied for decades, while recent years has seen a surge of interest in non-convex (zero-sum) smooth games, motivated by their recent wide applications. It remains an intriguing research challenge how local optimal points are defined and which algorithm can converge to such points. An interesting concept is known as the local minimax point, which strongly correlates with the widely-known gradient descent ascent algorithm. This paper aims to provide a comprehensive analysis of local minimax points, such as their relation with other solution concepts and their optimality conditions. We find that local saddle points can be regarded as a special type of local minimax points, called uniformly local minimax points, under mild continuity assumptions. In (non-convex) quadratic games, we show that local minimax points are (in some sense) equivalent to global minimax points. Finally, we study the stability of gradient algorithms near local minimax points. Although gradient algorithms can converge to local/global minimax points in the non-degenerate case, they would often fail in general cases. This implies the necessity of either novel algorithms or concepts beyond saddle points and minimax points in non-convex smooth games.

연구 동기 및 목표

• 비볼록 0-합의 게임에서 표준 정의(예: 안장점)가 부족한 국소 최적성의 이론적 기초를 명확히 하는 것.
• 국소 안장점과 국소 미니맥스 점 사이의 깊은 연관성을 확립하여, 약간의 연속성 가정 하에 이전 자가 국소 미니맥스 점의 특수한 경우임을 보여주는 것.
• 국소 강건점(LRPs)의 개념을 도입하고 공식화하여, 국소 미니맥스점과 국소 맥시민점 모두를 포함하는 더 넓은 정류점 클래스를 만드는 것.
• 국소 최적점 근처에서 경사 기반 알고리즘(예: OGD, EG)의 수렴 안정성을 분석하며, 특히 이차 게임에서의 성질을 다루는 것.
• 기본 경사 방법이 일반적으로 LRPs로 수렴하지 못함을 보여주며, 간단한 이차 설정에서도 성능이 떨어지므로 고도화된 최적화 전략의 필요성을 강조하는 것.

제안 방법

• 무한소 강건성에 기반해 국소 미니맥스 점의 일반화로 국소 강건점(LRPs)을 정의하며, 방향 도함수와 사영 연산자를 사용한다.
• 국소 미니맥스 점에 대한 1차 및 2차 최적성 조건을 유도하여, 이전 연구를 제약 조건이 있는 영역과 비대칭 헤시안 행렬의 경우로 확장한다.
• 이차 게임 모델을 사용해, 약간의 가정 하에 국소 미니맥스 점이 이 클래스에서 전역 미니맥스 점과 동치임을 보여준다.
• 경사 역학의 자코비안(예: OGD, EG)을 분석하여 국소 안정성을 연구하고, 수렴 행동에 대한 특성 방정식을 유도한다.
• 이차 게임에서의 반례를 구성하여, 좌표 독립적 스텝 사이즈 조건 하에서 OGD가 LRPs로 수렴하지 못함을 증명한다.
• 좌표에 따라 다른 스텝 사이즈가 필요함을 보여주며, 이는 Adam과 같은 표준 적응형 방법의 한계를 시사한다.

실험 결과

연구 질문

• RQ1 국소 안장점과 국소 미니맥스 점은 어떻게 관련되어 있으며, 이는 특수한 경우로 볼 수 있는가?
• RQ2 제약 조건이 있는 설정에서 국소 미니맥스 점은 1차 및 2차 최적성 조건으로 특징지어질 수 있는가?
• RQ3 이차 게임에서 국소 미니맥스 점은 전역 미니맥스 점과 동치인가?
• RQ4 기본 경사 알고리즘(예: OGD, EG)이 왜 국소 미니맥스 또는 강건점으로 자주 수렴하지 못하는가?
• RQ5 국소 강건점(LRPs)은 국소 미니맥스점과 국소 맥시민점을 모두 포함하는 더 넓은 해법 개념이 될 수 있는가?

주요 결과

• 국소 안장점은 약간의 연속성 가정 하에 국소 미니맥스 점의 특수한 경우로, 특히 균일 국소 미니맥스 점이라 불린다.
• 비볼록 이차 게임에서는 국소 미니맥스 점이 잘 정의된 의미에서 전역 미니맥스 점과 동치이다.
• 국소 미니맥스 점은 정류점이며, 본 논문은 이에 대한 1차 및 2차 필수 및 충분 조건을 제시한다.
• OGD 및 EG와 같은 경사 기반 알고리즘은 일반적으로 국소 강건점(LRPs)으로 수렴하지 못한다. 심지어 단순한 이차 게임에서도 마찬가지다.
• OGD가 LRPs로 수렴하지 못하는 이유는 독립된 좌표들 간의 안정성 조건이 상충되기 때문이며, 이는 좌표에 따라 다른 스텝 사이즈가 필요함을 시사한다.
• 국소 강건점(LRPs)은 국소 미니맥스 점을 엄밀히 일반화하며, 동시에 GDA의 안정된 해를 포함하지만 이는 미니맥스나 맥시민이 아닌 경우도 포함하므로 더 넓은 해법 프레임워크를 제안한다.