[논문 리뷰] Convergence of Payoff-Based Higher-Order Replicator Dynamics in Contractive Games

Hassan Abdelraouf, Vijay Gupta외 1명|arXiv (Cornell University)|2026. 03. 18.

Game Theory and Applications인용 수 0

한 줄 요약

요약: 본 논문은 payoff-based higher-order replicator dynamics의 로컬 및 글로벌 수렴을 수축적 게임에서의 수학적 분석과 함께 다루며, passivity 및 incremental stability를 통해 로컬 점근 수렴과 대칭적 수축 환경에서의 글로벌/증분적 결과를 보인다.

ABSTRACT

We study the convergence properties of a payoff-based higher-order version of replicator dynamics, a widely studied model in evolutionary dynamics and game-theoretic learning, in contractive games. Recent work has introduced a control-theoretic perspective for analyzing the convergence of learning dynamics through passivity theory, leading to a classification of learning dynamics based on the passivity notion they satisfy, such as extdelta-passivity, equilibrium-independent passivity, and incremental passivity. We leverage this framework for the study of higher-order replicator dynamics for contractive games, which form the complement of passive learning dynamics. Standard replicator dynamics can be represented as a cascade interconnection between an integrator and the softmax mapping. Payoff-based higher-order replicator dynamics include a linear time-invariant (LTI) system in parallel with the existing integrator. First, we show that if this added system is strictly passive and asymptotically stable, then the resulting learning dynamics converge locally to the Nash equilibrium in contractive games. Second, we establish global convergence properties using incremental stability analysis for the special case of symmetric matrix contractive games.

연구 동기 및 목표

• population 게임에서 학습 다이내믹스를 제어 이론적 관점에서 연구 동기를 제시한다.
• replicator dynamics를 고차, payoff 기반 설정으로 확장하고 수렴을 분석한다.
• passivity(엄밀한 passivity 포함) 및 incremental stability를 사용해 로컬 및 글로벌 수렴 특성을 규명한다.
• 대칭 행렬의 경우를 포함해 수축적 게임에서 Nash 균형에 도달하는 조건을 확립한다.

제안 방법

• LTI 시스템을 나타내는 h(s)와 softmax 매핑의 cascade 연결로 고차 복제자 다이내믹스를 모델링한다.
• 로컬 수렴은 Nash 정지성(Nash stationarity)을 증명하고 strict passivity를 이용한 Lyapunov/LaSalle 해석으로 보인다.
• incremental stability 분석을 사용해 대칭 행렬 수축적 게임에서 passivity of G(s)와 점근적(또는 지수적) 수렴을 연결하여 글로벌 수렴 결과를 도출한다.
• 비선형 폐루프 시스템에 대해 KYP 대칭 및 공통 제곱 Lyapunov 함수들을 적용해 글로벌 증분 안정성을 확립한다.
• 로컬 및 글로벌 수렴 특성을 보여주는 예시(예: Rock–Paper–Scissors 및 교통 혼잡 게임)들을 제시한다.

Figure 1 : Block diagram of the linearized local dynamics.

실험 결과

연구 질문

• RQ1 계약적 게임에서 payoff 기반의 고차 복제자 다이내믹스가 Nash 균형으로 지역적으로 수렴하는 조건은 무엇인가?
• RQ2 learning dynamics가 passive 또는 strictly passive 전달 함수에 의해 구동될 때 대칭 행렬 수축적 게임에 대해 어떤 글로벌 증분 수렴 보장(증분적 점근/지수적 안정성)이 확립될 수 있는가?
• RQ3 추가된 LTI 시스템의 passivity 특성이 고차 복제자 프레임워크의 수렴에 어떤 영향을 미치는가?
• RQ4 이 다이내믹스가 단순체의 내부에서 Nash 정지성이 성립하는가, 그리고 그것이 수렴 결과에 어떤 영향을 미치는가?
• RQ5 구체적인 게임 예시들은 이 다이내믹스의 실제 수렴 동작에 대해 무엇을 보여주는가?

주요 결과

• 추가된 LTI 시스템 h(s)가 strictly passive일 경우, 수축적 게임에서 혼합 Nash 균형은 부분적으로 로컬적으로 점근적으로 안정적이다.
• 대칭 행렬 수축적 게임에서 학습 다이내믹스가 G(s)I_n과 softmax 매핑의 cascaded로 모델링될 때, global incremental stability가 유지되며, 수렴은 passivity 수준(수동적 vs strictly passive)에 따라 점근적 또는 지수적 수렴으로 나타난다.
• 공통 제곱 Lyapunov 함수는 모든 궤적 선형화에 대해 글로벌 증분 안정성을 보장할 수 있어 Nash 정지성 하에서의 글로벌 수렴 결과를 가능하게 한다.
• KYP 레마와 수축성 분석은 G(s)가 passive 또는 strictly passive일 때 비선형 폐루프 시스템의 안정성을 보이는 데 사용된다.
• 구체적 예시(Rock–Paper–Scissors 및 교통 혼잡 게임)는 strictly passive h(s)에 대해 로컬 수렴을, passive/strictly passive G(s)에 대해 글로벌/증분 안정성을 보여준다.

Figure 2 : Local convergence of payoff-based higher-order replicator dynamics for $h(s)=\tfrac{2s+3}{s^{2}+3s+2}$ in the RPS game.