[논문 리뷰] Minmax Optimization: Stable Limit Points of Gradient Descent Ascent are Locally Optimal.

Chi Jin, Praneeth Netrapalli외 1명|arXiv (Cornell University)|2019. 02. 02.

Stochastic Gradient Optimization Techniques인용 수 48

한 줄 요약

이 논문은 비볼록-비볼류프(minimax) 최적화에서 국소 최소최대점(local minmax point)을 더 우수한 최적성 기준으로 제안하며, 상승 단계 크기가 내림 단계 크기보다 우세할 경우 경사 하강 상승(GDA)이 이러한 점으로 수렴함을 보여준다. 이 조건 하에서 GDA의 모든 안정한 극한점이 게임 이론적으로 의미 있는 국소 최적성임을 입증한다.

ABSTRACT

Minmax optimization, especially in its general nonconvex-nonconcave formulation, has found extensive applications in modern machine learning frameworks such as generative adversarial networks (GAN), adversarial training and multi-agent reinforcement learning. Gradient-based algorithms, in particular gradient descent ascent (GDA), are widely used in practice to solve these problems. Despite the practical popularity of GDA, however, its theoretical behavior has been considered highly undesirable. Indeed, apart from possiblity of non-convergence, recent results (Daskalakis and Panageas, 2018; Mazumdar and Ratliff, 2018; Adolphs et al., 2018) show that even when GDA converges, its stable limit points can be points that are not local Nash equilibria, thus not game-theoretically meaningful. In this paper, we initiate a discussion on the proper optimality measures for minmax optimization, and introduce a new notion of local optimality---local minmax---as a more suitable alternative to the notion of local Nash equilibrium. We establish favorable properties of local minmax points, and show, most importantly, that as the ratio of the ascent step size to the descent step size goes to infinity, stable limit points of GDA are exactly local minmax points up to degenerate points, demonstrating that all stable limit points of GDA have a game-theoretic meaning for minmax problems.

연구 동기 및 목표

• 비볼록-비볼류프(minimax) 최적화에서 경사 하강 상승(GDA)의 이론적 한계를 다스리며, 안정한 극한점이 의미 있는 균형과 대응되지 않을 수 있음을 다루는 것.
• 비볼록-비볼류프(minimax) 설정에서 국소 내쉬 균형의 개념이 부족한 점을 밝히며, 이러한 점이 안정적이거나 최적의 결과를 나타내지 않을 수 있음을 밝힘.
• 현대 기계 학습 응용에서 minmax 문제에 더 적합한 최적성 기준으로 국소 최소최대점(local minmax points)을 제안하는 것.
• 특정 단계 크기 비율 조건 하에서 GDA의 안정한 극한점이 국소 최소최대점임을 보이며, 게임 이론적 관련성을 확보하는 것.
• GAN 및 적대적 훈련과 같은 응용에서 GDA의 실용적 성공을 이론적으로 정당화하기 위해 수렴이 의미 있는 균형으로 이어짐을 연결하는 것.

제안 방법

• 국소 내쉬 균형의 개선으로서, 공동 전략 공간에서 국소 최소최대 성질을 갖는 국소 최소최대점(local minmax points)의 개념을 도입.
• 특히 상승 단계 크기가 내림 단계 크기보다 우세한 영역에서 단계 크기 비율이 변할 때 GDA의 동역학을 분석.
• 안정성 분석을 통해 GDA의 극한점을 특성화하며, 비퇴화된 경우에 국소 최소최대점과 일치함을 보임.
• 미분 방정식 근사와 리아푸노프 기반 추론을 활용해 GDA 궤적의 수렴 행동을 연구.
• 상승 단계 크기 대비 내림 단계 크기 비율이 무한대에 수렴할 조건을 설정하며, 이 조건 하에서 모든 안정한 극한점이 국소 최소최대점임을 입증.
• 라그랑주 함수 또는 보상 함수의 헤시안을 포함하는 국소 최적화 조건을 통해 국소 최소최대의 개념을 수식화.

실험 결과

연구 질문

• RQ1 비볼록-비볼류프(minimax) 최적화 문제에서 GDA의 안정한 극한점이 게임 이론적으로 의미 있는가를 보장할 수 있는가?
• RQ2 일반적인 minmax 문제에서 국소 내쉬 균형 개념이 최적성 기준으로 부적절한가?
• RQ3 GDA의 실용적 행동과 더 잘 부합하는 더 적절한 최적성 개념이 존재하는가?
• RQ4 어떤 조건에서 GDA가 게임 이론적으로 의미 있는 국소 최적점으로 수렴하는가?
• RQ5 상승 단계 크기 대비 내림 단계 크기 비율이 GDA의 안정한 극한점의 성격에 어떻게 영향을 미치는가?

주요 결과

• 국소 최소최대점(local minmax points)은 비볼록-비볼류프(minimax) 최적화 문제에서 국소 내쉬 균형보다 더 적절한 최적성 기준임을 제안.
• 상승 단계 크기 대비 내림 단계 크기 비율이 무한대에 수렴할 경우, GDA의 모든 안정한 극한점이 국소 최소최대점임을 입증(비퇴화된 경우에 한함).
• 이 결과는 제안된 최적성 기준 하에서 GDA가 게임 이론적으로 의미 있는 해로 수렴함을 보장함.
• 논문은 국소 내쉬 균형이 실무에서 불안정하거나 의미 없는 경우가 되며, 국소 최소최대점은 이러한 문제를 피함을 입증.
• 이론적 프레임워크는 GAN 및 적대적 훈련과 같은 응용에서 GDA의 경험적 성공을 정당화하며, 의미 있는 균형으로의 수렴을 연결함.
• 분석을 통해 단계 크기 비율이 최적의 의미를 가진 해로의 수렴을 보장하기 위한 핵심 제어 변수임을 밝힘.