[論文レビュー] Payoff Dynamics Model and Evolutionary Dynamics Model: Feedback and Convergence to Equilibria

Shinkyu Park, Nuno C. Martins+1 more|arXiv (Cornell University)|Mar 5, 2019

Evolutionary Game Theory and Cooperation被引用数 14

ひとこと要約

本稿は、報酬メカニズムと戦略再編プロトコルの間のフィードバックをモデル化することで、進化的ゲームと集団ゲームのダイナミクスを統一するシステム理論的枠組みを提示する。Lyapunov安定性およびパassivity理論を用いて、一般の動的報酬メカニズムのもとで安定性の厳密な条件を確立し、収束をナッシュ均衡に導く。ストレージ関数およびスペクトル解析を用いて、ロバストネスを証明し、先行研究を拡張する。

ABSTRACT

This tutorial article puts forth a framework to analyze the noncooperative strategic interactions among the members of a large population of bounded rationality agents. Our approach hinges on, unifies and generalizes existing methods and models predicated in evolutionary and population games. It does so by adopting a system-theoretic formalism that is well-suited for a broad engineering audience familiar with the basic tenets of nonlinear dynamical systems, Lyapunov stability, storage functions, and passivity. The framework is pertinent for engineering applications in which a large number of agents have the authority to select and repeatedly revise their strategies. A mechanism that is inherent to the problem at hand or is designed and implemented by a coordinator ascribes a payoff to each possible strategy. Typically, the agents will prioritize switching to strategies whose payoff is either higher than the current one or exceeds the population average. The article puts forth a systematic methodology to characterize the stability of the dynamical system that results from the feedback interaction between the payoff mechanism and the revision process. This is important because the set of stable equilibria is an accurate predictor of the population's long-term behavior. The article includes rigorous proofs and examples of application of the stability results, which also extend the state of the art because, unlike previously published work, they allow for a rather general class of dynamical payoff mechanisms. The new results and concepts proposed here are thoroughly compared to previous work, methods and applications of evolutionary and population games.

研究の動機と目的

• 大規模な有限合理的なエージェント集団間の非協力的戦略的相互作用を分析する統一されたシステム理論的枠組みを構築すること。
• 集団ゲームにおける動的報酬メカニズムと戦略再編プロトコルのフィードバック相互接続の安定性を特徴づけること。
• 静的または線形形式に制限されない一般のクラスの動的報酬メカニズムを許容することで、進化的ゲーム理論および集団ゲーム理論における既存の結果を拡張すること。
• Lyapunov関数、ストレージ関数、およびパassivity理論を用いて、決定論的および確率的設定の両方に適用可能な厳密な安定性条件を提供すること。
• システムパrameterに関する弱い仮定のもとでナッシュ均衡への収束を確立し、スペクトル特性および行列不等式に基づく明示的な条件を提示すること。

提案手法

• 人口状態を、再編プロトコルおよび報酬関数から導かれる常微分方程式によって支配される決定論的平均場軌道としてモデル化する。
• 時間変動する報酬を動的システムとして捉える報酬ダイナミクスモデル（PDM）を導入し、パassivity分析に適した入出力構造を持つ。
• パassivity理論およびLyapunov安定性を用いて、PDMと再編プロトコルのフィードバック相互接続を分析し、均衡への収束を保証する。
• Legendre共役双対性および凸解析を用いてストレージ関数を定義し、PDMのδ-反パassivityを証明することで、安定性の認証を可能にする。
• 周波数領域における不等式を用いて、ゼロサム部分空間TC内の複素ベクトルを用い、システム行列Fに関するスペクトル条件を導出する。これにより、さまざまなパrameter領域において安定性を保証する。
• 変換を用いて、安定性条件を周波数領域における二次不等式に還元し、実周波数および接空間TX内のすべてのベクトルに対して有効であるようにする。

実験結果

リサーチクエスチョン

• RQ1 一般の動的報酬メカニズムと戦略再編プロトコルのフィードバック相互接続が、どのような条件下でナッシュ均衡に収束するか。
• RQ2 パassivityおよびLyapunov安定性を、時間変動する報酬を持つ集団ゲームダイナミクスの収束を体系的に分析するためにどのように適用できるか。
• RQ3 PDMのδ-反パassivityの必要十分条件は何か。それらは安定性とどのように関係するか。
• RQ4 システム行列Fのスペクトル特性、特にμおよびαとの関係は、均衡集合の安定性にどのように影響するか。
• RQ5 提案された枠組みは、進化的ゲーム理論における既存の結果をどのように一般化するか。特に、許容可能な報酬ダイナミクスのクラスに関して。

主な発見

• フレームワークは、報酬ダイナミクスモデルがδ-反パassiveであり、再編プロトコルが安定である限り、システムパrameterに関する弱い仮定のもとで、均衡への収束が保証されることを証明する。
• システム行列Fと周波数領域不等式が、すべての実周波数およびゼロサム部分空間TC内のすべてのベクトルに対して成り立つ場合、安定性が保証される。
• 主要な不等式は、Fに関する二次形式の条件に簡略化され、すべてのω ∈ ℝおよびz ∈ TXに対して、z^T F z ≤ λ* (α² + ω²)/(α² + μ̄ω²) z^T zが成り立つ。ここでλ* = 0またはλ* > 0であり、μ̄ ≤ 1である。
• μ̄ > 1であり、λ* > 0である場合、不等式がμ̄でスケーリングされれば、依然として条件を満たす。これにより、より広いパrameter領域でも安定性が保証される。
• 証明により、fのLegendre共役の定義域の内部が正に不変であることが示され、全軌道にわたり双対変数の存在および正則性が保証される。
• 本フレームワークは、静的または線形なものに限定されない任意の動的報酬メカニズムを許容することで、先行研究を一般化し、システム理論的ツールを用いた統一的な安定性解析を提供する。