[論文レビュー] Convergence of Learning Dynamics in Stackelberg Games

Tanner Fiez, Benjamin J. Chasnov+1 more|arXiv (Cornell University)|Jun 4, 2019

Markov Chains and Monte Carlo Methods参考文献 64被引用数 45

ひとこと要約

この論文は連続アクションを持つStackelbergゲームにおける勾配ベースの学習ダイナミクスの収束性を分析し、安定点がStackelberg均衡となる条件を示し、収束保証を持つアルゴリズムを提案する。

ABSTRACT

This paper investigates the convergence of learning dynamics in Stackelberg games. In the class of games we consider, there is a hierarchical game being played between a leader and a follower with continuous action spaces. We establish a number of connections between the Nash and Stackelberg equilibrium concepts and characterize conditions under which attracting critical points of simultaneous gradient descent are Stackelberg equilibria in zero-sum games. Moreover, we show that the only stable critical points of the Stackelberg gradient dynamics are Stackelberg equilibria in zero-sum games. Using this insight, we develop a gradient-based update for the leader while the follower employs a best response strategy for which each stable critical point is guaranteed to be a Stackelberg equilibrium in zero-sum games. As a result, the learning rule provably converges to a Stackelberg equilibria given an initialization in the region of attraction of a stable critical point. We then consider a follower employing a gradient-play update rule instead of a best response strategy and propose a two-timescale algorithm with similar asymptotic convergence guarantees. For this algorithm, we also provide finite-time high probability bounds for local convergence to a neighborhood of a stable Stackelberg equilibrium in general-sum games. Finally, we present extensive numerical results that validate our theory, provide insights into the optimization landscape of generative adversarial networks, and demonstrate that the learning dynamics we propose can effectively train generative adversarial networks.

研究の動機と目的

• 連続アクション空間を持つリーダーとフォロワーが相互作用する階層的Stackelbergゲームにおける学習ダイナミクスを動機づけ、形式化する。
• ゼロサムおよび一般和の設定におけるNash均衡とStackelberg均衡の関係を特徴づける。
• 適切な条件の下でStackelberg均衡への収束を保証する勾配ベースの学習ルールを開発する。
• 正確なベスト応答フォロワーと勾配プレイフォロワーの両方について分析を提供し、リーダーとフォロワー間のタイムスケール分離を扱う。
• 生成的敵対ネットワーク（GAN）への適用性を示し、数値実験で理論を検証する。

提案手法

• 微分Stackelberg均衡を局所的な計算可能な概念として定義する（定義4）。
• 暗黙のフォロワー反応を含むリーダー-フォロワーの勾配更新を導出・分析する（式(2)および関連式）。
• ゼロサムゲームにおけるStackelberg勾配ダイナミクスの唯一の安定臨界点がStackelberg均衡であることを確立する（命題1）。
• ゼロサムゲームにおける安定微分ナッシュ均衡が微分Stackelberg均衡であることを示す（命題2）。
• フォロワーが勾配プレイを用いる二時尺度のアルゴリズムを提案し、ゼロサムゲームにおけるStackelberg均衡へのほぼ確実な収束と、一般和ゲームにおける安定なアトラクタへの収束を証明し、局所収束に対する有限時間の高確率境界を提供する。
• 提案結果をGANへ関連づけ、対立的学習における最適化の風景への影響を論じる。

実験結果

リサーチクエスチョン

• RQ1 ゼロサムおよび一般和ゲームにおいて、同時勾配プレイの収束点がStackelberg均衡に対応する条件は何か？
• RQ2 フォロワーが最適応答と勾配プレイのいずれを用いる場合に、勾配ベースのStackelberg学習ダイナミクスがStackelberg均衡へ収束しうるか？
• RQ3 提案されたダイナミクスの下で、ゼロサムおよび一般和設定におけるNash均衡とStackelberg均衡の関係は何か？
• RQ4 提案されたダイナミクスは同時勾配降下を悩ませる非Nashのアトラクタを回避し、GAN似のシナリオでStackelberg均衡への収束を保証できるか？

主な発見

• ゼロサムゲームにおけるStackelberg勾配ダイナミクスの収束点はStackelberg均衡である（命題1）。
• ゼロサムゲームにおける安定微分ナッシュ均衡は微分Stackelberg均衡である（命題2）。
• 同時勾配プレイの安定アトラクタはStackelberg均衡でありNash均衡ではない場合があり、Stackelberg均衡への収束がいつ起こるかの必要十分条件を命題3～4で特定した。
• 実現可能仮定の下でのGANへの特化は、Stackelberg均衡がGANの学習ランドスケープを記述する条件を示す（命題5～6）。
• 勾配プレイフォロワーを伴う二時尺度アルゴリズムは、ゼロサムゲームにおけるStackelberg均衡へのほぼ確実な収束と、一般和ゲームにおける安定アトラクタへの収束をもたらし、有限時間の高確率収束境界も提供する。