[논문 리뷰] Convergence of Learning Dynamics in Stackelberg Games

Tanner Fiez, Benjamin J. Chasnov외 1명|arXiv (Cornell University)|2019. 06. 04.

Markov Chains and Monte Carlo Methods참고 문헌 64인용 수 45

한 줄 요약

이 논문은 연속 행동을 가진 Stackelberg 게임에서 기울기 기반 학습 역학의 수렴성을 분석하고, 안정적인 점이 Stackelberg 균형이 되는 경우를 보이며, 수렴 보장이 있는 알고리즘을 제안한다.

ABSTRACT

This paper investigates the convergence of learning dynamics in Stackelberg games. In the class of games we consider, there is a hierarchical game being played between a leader and a follower with continuous action spaces. We establish a number of connections between the Nash and Stackelberg equilibrium concepts and characterize conditions under which attracting critical points of simultaneous gradient descent are Stackelberg equilibria in zero-sum games. Moreover, we show that the only stable critical points of the Stackelberg gradient dynamics are Stackelberg equilibria in zero-sum games. Using this insight, we develop a gradient-based update for the leader while the follower employs a best response strategy for which each stable critical point is guaranteed to be a Stackelberg equilibrium in zero-sum games. As a result, the learning rule provably converges to a Stackelberg equilibria given an initialization in the region of attraction of a stable critical point. We then consider a follower employing a gradient-play update rule instead of a best response strategy and propose a two-timescale algorithm with similar asymptotic convergence guarantees. For this algorithm, we also provide finite-time high probability bounds for local convergence to a neighborhood of a stable Stackelberg equilibrium in general-sum games. Finally, we present extensive numerical results that validate our theory, provide insights into the optimization landscape of generative adversarial networks, and demonstrate that the learning dynamics we propose can effectively train generative adversarial networks.

연구 동기 및 목표

• 리더와 팔로워가 연속 행동 공간으로 상호 작용하는 위계적 Stackelberg 게임에서 학습 역학을 동기화하고 형식화한다.
• 제로섬 및 일반합 설정에서 Nash 균형과 Stackelberg 균형 사이의 관계를 특징짓는다.
• 적절한 조건 하에서 Stackelberg 균형으로의 수렴을 보장하는 기울기 기반 학습 규칙을 개발한다.
• 정확한 최적 반응 팔로워와 그래디언트 플레이 팔로워 모두에 대한 분석을 제공하고 리더와 팔로워 간의 시간 척도 차이를 고려한다.
• 생성적 적대 신경망(GAN)에의 적용 가능성을 시연하고 이론을 수치 실험으로 검증한다.

제안 방법

• 계산에 적합한 국소적 개념으로서 differential Stackelberg equilibrium를 정의한다(Definition 4).
• 암시적 팔로워 반응을 갖는 리더-팔로워 그래디언트 업데이트를 도출하고 분석한다(Eq. (2) 및 관련 표현들).
• 제로섬 게임에서 Stackelberg 그래디언트 역학의 유일한 안정 임상점이 Stackelberg 균형임을 보인다(Proposition 1).
• 제로섬 게임에서 안정적인 differential Nash 균형이 differential Stackelberg 균형임을 보인다(Proposition 2).
• 팔로워가 그래디언트 플레이를 사용하는 두-시간 척도 알고리즘을 제안하고, 제로섬 게임에서 Stackelberg 균형으로의 거의 확실한 수렴과 일반합 게임에서의 안정적 끌어당김으로의 수렴을 증명하며, 국소 수렴에 대한 유한시간 고확률 경계도 제공한다.
• GANs에의 결과를 연결하고 적대적 학습의 최적화 지형에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 제로섬 및 일반합 게임에서 동시 그래디언트 플레이의 끌어당김이 Stackelberg 균형에 해당하는 조건은 무엇인가?
• RQ2 팔로워가 최적 반응(best-response) 대신 그래디언트 플레이 업데이트를 사용할 때 Stackelberg 학습 역학이 Stackelberg 균형으로 수렴할 수 있는가?
• RQ3 제안된 역학 하에서 제로섬 및 일반합 설정에서 Nash 균형과 Stackelberg 균형 간의 관계는 어떻게 되는가?
• RQ4 동시 그래디언트 하강의 비Nash 끌어당김을 피하고 GAN과 같은 시나리오에서 Stackelberg 균형으로의 수렴을 보장할 수 있는가?

주요 결과

• 제로섬 게임에서 Stackelberg 그래디언트 역학의 매혹적 임상점은 Stackelberg 균형이다(Proposition 1).
• 제로섬 게임에서 안정적인 differential Nash 균형은 differential Stackelberg 균형이다(Proposition 2).
• 동시 그래디언트 플레이의 안정적 끌어당김 중에는 Stackelberg 균형이지만 Nash가 아닌 것도 존재하며, Stackelberg 균형으로의 수렴이 언제 일어나는지에 대한 필요충분조건이 제시된다(Propositions 3–4).
• 현실화 가능성 가정하에 GANs에 대한 특수화는 Stackelberg 균형이 GAN의 학습 지형을 기술하는 조건을 보여준다(Propositions 5–6).
• 그래디언트 플레이 팔로워가 있는 두-시간 척도 알고리즘은 제로섬 게임에서 Stackelberg 균형으로의 거의 확실한 수렴과 일반합 게임에서 안정적 끌어당김으로의 수렴을 제공하며, 국소 수렴에 대한 유한시간 고확률 경계도 제시한다.