[論文レビュー] Convergence of Payoff-Based Higher-Order Replicator Dynamics in Contractive Games

Hassan Abdelraouf, Vijay Gupta+1 more|arXiv (Cornell University)|Mar 18, 2026

Game Theory and Applications被引用数 0

ひとこと要約

この論文は、拘束性ゲームにおける payoff-based higher-order replicator dynamics の局所および全体収束を、パシビティと増分安定性を用いて分析し、対称な拘束性設定における局所漸近収束と全体/増分結果を示す。

ABSTRACT

We study the convergence properties of a payoff-based higher-order version of replicator dynamics, a widely studied model in evolutionary dynamics and game-theoretic learning, in contractive games. Recent work has introduced a control-theoretic perspective for analyzing the convergence of learning dynamics through passivity theory, leading to a classification of learning dynamics based on the passivity notion they satisfy, such as extdelta-passivity, equilibrium-independent passivity, and incremental passivity. We leverage this framework for the study of higher-order replicator dynamics for contractive games, which form the complement of passive learning dynamics. Standard replicator dynamics can be represented as a cascade interconnection between an integrator and the softmax mapping. Payoff-based higher-order replicator dynamics include a linear time-invariant (LTI) system in parallel with the existing integrator. First, we show that if this added system is strictly passive and asymptotically stable, then the resulting learning dynamics converge locally to the Nash equilibrium in contractive games. Second, we establish global convergence properties using incremental stability analysis for the special case of symmetric matrix contractive games.

研究の動機と目的

• population games における学習ダイナミクスを制御理論の視点で動機づける。
• replicator dynamics を higher-order, payoff-based 設定へ拡張し、収束を解析する。
• passivity（厳密な passivity を含む）および incremental stability を用いて、局所および全体の収束を特徴づける。
• symmetric matrix の場合を含む契約的ゲームにおいて Nash 平衡へ達する条件を確立する。

提案手法

• higher-order replicator dynamics を、h(s) を表す LTI 系と softmax mappings のカスケード結合としてモデル化する。
• 局所収束は Nash stationary を証明し、厳密なパシビティを用いた Lyapunov/LaSalle の argument により示す。
• 増分安定性解析を用いて、対称行列の契約的ゲームに対する global convergence を導出し、G(s) のパシビティが漸近的または指数収束へ結びつくことを示す。
• 非線形閉ループ系に対して KYP 補題と共通二次的 Lyapunov 関数を適用して、global incremental stability を確立する。
• ロック・ペーパー・シザーズ (Rock–Paper–Scissors) や混雑ゲームなどの例を挙げて、局所および全体収束特性を説明する。

Figure 1 : Block diagram of the linearized local dynamics.

実験結果

リサーチクエスチョン

• RQ1 payoff-based higher-order replicator dynamics が契約的ゲームにおいて局所的に Nash 平衡へ収束する条件は何か。
• RQ2 学習ダイナミクスがパシブまたは厳密にパシブな伝達関数によって駆動される場合、対称行列の契約的ゲームに対してどのような全体的な增分収束保証（incremental asymptotic/exponential stability）が得られるか。
• RQ3 高次の replicator フレームワークにおける追加の LTI 系のパシビティ特性が収束にどのような影響を与えるか。
• RQ4 これらのダイナミクスが単純形の内部で Nash stationary を満たすかどうか、そしてそれが収束結果にどのように影響するか。
• RQ5 具体的なゲーム例は、これらのダイナミクスの実用的な収束挙動をどう示すか。

主な発見

• 追加された LTI 系 h(s) が strictly passive の場合、契約的ゲームにおける混合 Nash 平衡は局所的に漸近安定である。
• 対稱行列の契約的ゲームでは、学習ダイナミクスが G(s)I_n と softmax mappings のカスケードとしてモデル化される場合、全体的な incremental stability が成立し、漸近的または指数収束はパシブか strictly passive かによって決まる。
• 共通二次的 Lyapunov 関数を用いれば、すべての軌道線形化に対して global incremental stability を保証でき、Nash stationary の下で global convergence が得られる。
• KYP 補題と収束解析を用いて、G(s) がパシブまたは strictly passive のとき非線形閉ループ系の安定性を示す。
• 具体的な例（Rock–Paper–Scissors および congestion game）は、strictly passive な h(s) に対して局所収束を、パシブ/strictly passive な G(s) に対して全体的・増分安定性を示す。

Figure 2 : Local convergence of payoff-based higher-order replicator dynamics for $h(s)=\tfrac{2s+3}{s^{2}+3s+2}$ in the RPS game.