[논문 리뷰] Game Theoretic Optimization via Gradient-based Nikaido-Isoda Function

Arvind U. Raghunathan, Anoop Cherian외 1명|arXiv (Cornell University)|2019. 05. 15.

Opinion Dynamics and Social Influence인용 수 5

한 줄 요약

이 논문은 다중 플레이어 비협력 게임에서 나시 균형을 계산하기 위해 전역 최적화를 국소 기울기 강하로 대체하는 새로운 미리미터 함수인 기울기 기반 니카이도-이소다(GNI) 함수를 소개한다. GNI 함수는 오직 일阶 정류점에서만 0이 되며, 기울기 강하를 통한 하향 수렴을 가능하게 하며, 이는 하향 수렴 속도가 선형 이하가 되도록 보장한다. 이중 선형 및 이차 게임의 경우, 나시 균형이 존재할 경우 선형 수렴을 보장한다.

ABSTRACT

Computing Nash equilibrium (NE) of multi-player games has witnessed renewed interest due to recent advances in generative adversarial networks. However, computing equilibrium efficiently is challenging. To this end, we introduce the Gradient-based Nikaido-Isoda (GNI) function which serves: (i) as a merit function, vanishing only at the first-order stationary points of each player's optimization problem, and (ii) provides error bounds to a stationary Nash point. Gradient descent is shown to converge sublinearly to a first-order stationary point of the GNI function. For the particular case of bilinear min-max games and multi-player quadratic games, the GNI function is convex. Hence, the application of gradient descent in this case yields linear convergence to an NE (when one exists). In our numerical experiments, we observe that the GNI formulation always converges to the first-order stationary point of each player's optimization problem.

연구 동기 및 목표

• 비볼록 다중 플레이어 게임에서 효율적으로 나시 균형을 계산하는 데 도전하는 것, 특히 GAN 훈련의 맥락에서.
• 기존 니카이도-이소다 함수는 플레이어별로 전역 최적화가 필요하므로 계산상 비가역적인 문제를 해결하는 것.
• 수렴성과 안정성 특성을 유지하면서 국소 기울기 강하를 활용하는 계산적으로 타당한 대안을 개발하는 것.
• 일반적인 비볼록 및 특정한 볼록/이차 설정 하에서 제안된 방법의 이론적 수렴 보장을 확립하는 것.
• GAN 유사 게임 설정에서 표준 최적화 기법(예: Adam)에 비해 GNI 기반 알고리즘이 경험적으로 뛰어나다는 것을 보여주는 것.

제안 방법

• 기존 NI 함수의 전역 최소화를 국소 기울기 강하 단계로 대체하는 새로운 미리미터 함수로 기울기 기반 니카이도-이소다(GNI) 함수를 제안한다.
• GNI 함수를 정의하여 각 플레이어의 최적화 문제의 일阶 정류점에서만 0이 되도록 하여 균형 탐지 보장.
• 정류 나시 균형점 주변에서 GNI 함수의 국소 안정성을 증명하여 신뢰할 수 있는 수렴 행동 보장.
• 플레이어 목표 함수가 이차일 경우 GNI 함수가 볼록임을 보여주어 기울기 강하가 나시 균형으로 선형 수렴 가능함.
• GNI 함수의 기울기 평가 계산 비용을 줄이기 위해 비선형 보간법을 도입하고, 이에 따른 비정확 알고리즘의 수렴 분석 수행.
• 볼록성 및 비볼록성 조건 하에서 수렴 보장이 있는 GNI 함수에 대한 기울기 강하 알고리즘을 구현하여 반복적 정밀화를 통한 정류 나시 균형점 도달.

실험 결과

연구 질문

• RQ1 니카이도-이소다 함수의 기울기 기반 재구성은 계산 복잡도를 감소시키면서도 나시 균형으로의 수렴을 유지할 수 있는가?
• RQ2 GNI 함수는 각 플레이어 문제의 일阶 정류점에서만 0이 되는 타당한 미리미터 함수인가?
• RQ3 기울기 강하가 GNI 함수에 대해 어떤 조건에서 나시 균형으로 선형 수렴하는가?
• RQ4 GAN 훈련에서 GNI 기반 알고리즘은 Adam과 같은 표준 최적화 방법보다 어떻게 비교되는가?
• RQ5 GAN 훈련에서 흔한 확률적 설정으로 GNI 프레임워크를 확장할 수 있으며, 어떤 이론적 보장을 확보할 수 있는가?

주요 결과

• GNI 함수는 각 플레이어의 최적화 문제의 일阶 정류점에서만 0이 되며, 이는 나시 균형 계산에 타당한 미리미터 함수임을 보여준다.
• 일반적인 비볼록 게임에서 GNI 함수에 대한 기울기 강하는 첫째로 정류 나시 균형점으로 하향 수렴 속도가 선형 이하로 수렴한다.
• 이중 선형 최소-최대 게임 및 다중 플레이어 이차 게임의 경우, GNI 함수는 볼록이며, 나시 균형이 존재할 경우 기울기 강하가 선형 수렴 가능하다.
• 수치 실험 결과, GNI 기반 알고리즘이 다양한 게임 설정에서 정류 나시 균형점으로 일관되게 수렴하며, Adam 및 기타 방법보다 뛰어난 성능을 보였다.
• 하이퍼파ram터 튜닝 결과, 디스크리미네이터의 학습률(η)을 높이면 수렴 속도가 빨라지지만 생성기 붕괴 위험이 증가하며, ρ=1은 균형 잡힌 안정적 수렴을 제공한다.
• 실제 데이터 분포(P_r = N(μ, Σ)) 설정에서는 GNI 방법이 선형 GAN 케이스와 유사하게 안정적이고 빠른 수렴을 유지하여 분포 복잡성에 대해 강건함을 입증하였다.