[論文レビュー] Learning and Selfconfirming Equilibria in Network Games

Pierpaolo Battigalli, Fabrizio Panebianco+1 more|arXiv (Cornell University)|Dec 31, 2018

Game Theory and Applications参考文献 5被引用数 3

ひとこと要約

本稿は、ネットワーク構造についての不完全情報を持つエージェントが、自身の実現した報酬しか観測しないネットワークゲームにおける学習ダイナミクスを研究する。自己確認的均衡を信念更新プロセスの定常状態として特徴づけ、不完全なフィードバック下でナッシュ均衡とは異なる自己確認的均衡が存在しうることを示し、推移的最適反応プロセスを通じて学習が安定した自己確認的行動プロファイルに収束する条件を確立する。

ABSTRACT

Consider a set of agents who play a network game repeatedly. Agents may not know the network. They may even be unaware that they are interacting with other agents in a network. Possibly, they just understand that their payoffs depend on an unknown state that is, actually, an aggregate of the actions of their neighbors. Each time, every agent chooses an action that maximizes her instantaneous subjective expected payoff and then updates her beliefs according to what she observes. In particular, we assume that each agent only observes her realized payoff. A steady state of the resulting dynamic is a selfconfirming equilibrium given the assumed feedback. We characterize the structure of the set of selfconfirming equilibria in the given class of network games, we relate selfconfirming and Nash equilibria, and we analyze simple conjectural best-reply paths whose limit points are selfconfirming equilibria.

研究の動機と目的

• ネットワーク構造に関する不完全情報が、戦略的ネットワーク相互作用における学習と均衡結果に与える影響を分析すること。
• エージェントが自身の報酬しか観測せず、それに基づいて信念を更新する状況で生じる自己確認的均衡の集合を特徴づけること。
• 不完全なフィードバックと限られた観測性の下で、自己確認的均衡とナッシュ均衡の関係を調査すること。
• 局所的およびグローバルな外部効果を伴うネットワークゲームにおいて、推移的最適反応プロセスを通じた学習ダイナミクスの安定性と収束性を検討すること。
• 学習プロセスが自己確認的均衡に収束する条件を確立すること、特に信念更新系に対する収縮写像の議論を用いること。

提案手法

• エージェントが他者の行動を観測しないで、観測した報酬に基づくみみだけを用いて信念を更新する繰り返しプレーのモデル。
• エージェントが報酬に関連する状態（例えば、集約的近隣行動）について主観的期待を形成し、それに対して最適反応する信念更新メカニズムを導入。
• 推移的最適反応ダイナミクスの変種を用い、エージェントが観測した報酬から導かれる推定報酬状態に基づいて行動を調整する。
• 学習ダイナミクスのヤコビ行列に対してゲルシュゴリンの円定理を適用し、固定点の安定性を証明し、学習経路の収束を保証。
• 方程式 (15)–(16) で定義される連続時間動的システムを用い、実現報酬からのフィードバックと (17) および (29) を通じた信念更新を組み合わせる。
• 行動プロファイルからネットワークおよび報酬パラメータへの写像の逆行列性と単調性を分析し、一意的かつ安定した均衡を保証。

実験結果

リサーチクエスチョン

• RQ1 ネットワークゲームにおける学習プロセスがナッシュ均衡ではなく自己確認的均衡に収束する条件は何か？
• RQ2 具体的に、自身の報酬しか観測しないという限られた観測性が、均衡の構造と安定性にどのように影響するか？
• RQ3 ネットワーク構造の不完全な知識下で、自己確認的均衡とナッシュ均衡の関係は何か？
• RQ4 局所的およびグローバルな外部効果は、このようなゲームにおける学習ダイナミクスの収束性と安定性にどのように影響するか？
• RQ5 学習プロセスが収縮写像となる条件は何か？ これにより一意的な自己確認的均衡への収束が保証される。

主な発見

• エージェントがネットワークや他者の行動について完全な情報を有さない場合、ナッシュ均衡でない自己確認的均衡が存在しうる。
• 方程式 (16) は、任意の与えられたネットワークとパラメーターベクトルに対して、一意的で連続的かつ厳密に単調な行動プロファイル写像を備え、明確に定義された均衡結果を保証する。
• 学習ダイナミクスのヤコビ行列の各行の和は -1 から 1 の間で有界であり、ゲルシュゴリンの円定理により、システムが収縮写像であることが保証され、したがって安定な固定点に収束することが示される。
• 行動水準が上昇するにつれて、ヤコビ行列の各行の和は ∑j≠i zij − 1 に近づき、モデルの仮定下では絶対値が 1 で有界である。
• ai → 0 の極限において、各行の和の極限は -1 より大きいが、ci → 0 および c′i → 0 の極限でのみ -1 に近づくため、定義域全体で安定性が保証される。
• 厳密な単調性と連続性のおかげで、行動プロファイルから報酬パラメータへの写像は逆行列をもち、均衡の一意性と安定性が裏付けられる。