[論文レビュー] Network Aggregative Games and Distributed Mean Field Control via Consensus Theory

Francesca Parise, Sergio Grammatico+2 more|arXiv (Cornell University)|Jun 25, 2015

Opinion Dynamics and Social Influence参考文献 28被引用数 17

ひとこと要約

本稿では、自身の戦略および隣接エージェントの戦略の凸結合に依存する二次コストを最小化するネットワークに接続されたエージェントを対象としたネットワーク集合的（NA）ゲームを導入する。弱い条件下でもナッシュ均衡に収束する分散型で、合意形成に基づくアルゴリズムを提案し、中央集権的な調整者がいなくても大規模な集団、例えばスマートグリッドや意見動的システムにおけるスケーラブルな協調を可能にするため、フレームワークを平均場制御の解法に拡張する。

ABSTRACT

We consider network aggregative games to model and study multi-agent populations in which each rational agent is influenced by the aggregate behavior of its neighbors, as specified by an underlying network. Specifically, we examine systems where each agent minimizes a quadratic cost function, that depends on its own strategy and on a convex combination of the strategies of its neighbors, and is subject to personalized convex constraints. We analyze the best response dynamics and we propose alternative distributed algorithms to steer the strategies of the rational agents to a Nash equilibrium configuration. The convergence of these schemes is guaranteed under different sufficient conditions, depending on the matrices defining the cost and on the network. Additionally, we propose an extension to the network aggregative game setting that allows for multiple rounds of communications among the agents, and we illustrate how it can be combined with consensus theory to recover a solution to the mean field control problem in a distributed fashion, that is, without requiring the presence of a central coordinator. Finally, we apply our theoretical findings to study a novel multi-dimensional, convex-constrained model of opinion dynamics and a hierarchical demand-response scheme for energy management in smart buildings, extending literature results.

研究の動機と目的

• 個々のエージェントの戦略が、相手との対照的相互作用ではなく、ネットワークに接続された周囲のエージェントの集計的行動に影響を受ける大規模な合理的エージェント集団をモデル化すること。
• 従来の集合的ゲームが大規模集団において計算的に不適切である問題を解決するため、ネットワーク構造を持つ集計モデルを導入すること。
• 中央集権的な調整者を必要とせず、エージェントがナッシュ均衡に収束する分散型で合意形成に基づくアルゴリズムを開発すること。
• 複数ラウンドの通信プロトコルを用いて、分散的に平均場制御問題の解を回復できるフレームワークを拡張すること。
• 凸制約を伴うスマートビルにおける需要応答や意見動的システムを含む、実世界の問題への理論的結果の応用。

提案手法

• エージェント間の相互作用を、各エージェントのコストが自身の戦略と隣接エージェント戦略の凸結合に依存するネットワーク構造の集計器でモデル化する。
• 最良反応（BR）ダイナミクスを分析し、BRダイナミクスが失敗する場合に収束を保証するメモリベースの分散型更新スキームを提案する。
• 合意形成理論を用いて、エージェント間の複数ラウンド通信を可能にし、中央集権的調整なしに集団レベルの集計を推定可能にする。
• ネットワーク隣接行列の行列解析とスペクトル特性を用いて、コスト関数とネットワークトポロジーに基づく収束条件を導出する。
• 古典的な平均場および集合的ゲームにおけるスカラー集計器の一般化として、ベクトル値の集計器関数を導入する。
• 変分不等式理論と単調性特性（例えば、強く単調、非拡大、強く非拡大写像）を用いて、提案アルゴリズムの収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 二次コスト関数を伴うネットワーク集合的ゲームにおいて、最良反応ダイナミクスがナッシュ均衡に収束する条件は何か？
• RQ2 最良反応ダイナミクスが失敗する場合に、分散型で合意形成に基づくアルゴリズムをどのように設計すれば、ナッシュ均衡に収束するか？
• RQ3 ネットワークエージェント間の複数ラウンド通信プロトコルは、分散的に平均場制御問題の解を回復できるか？
• RQ4 ネットワークトポロジーとコスト関数の構造は、提案された分散アルゴリズムの収束特性にどのように影響を与えるか？
• RQ5 提案されたフレームワークは、意見動的システムやスマートビルにおけるエネルギー管理といった実世界の問題に、どの程度応用可能か？

主な発見

• コスト関数のヘッセ行列とネットワーク行列が特定のスペクトル条件を満たす場合、特にネットワークの2番目に大きな固有値が十分に小さい場合、最良反応ダイナミクスがナッシュ均衡に収束することが保証される。
• 提案されたメモリベースの分散アルゴリズムは、最良反応ダイナミクスよりも弱い条件下でもナッシュ均衡に収束する。収束条件はコスト関数のヘッセ行列の定性とネットワークの接続性に依存する。
• 複数ラウンドの合意形成通信による平均場制御解の近似誤差は、$ \varepsilon_{N, u} \leq K\left(\frac{1}{N} + \sqrt{N}\mu^{\nu}\right) $ として減少し、ここで $ \mu < 1 $ はネットワーク行列のスペクトルギャップを表す。
• コスト関数パラメータに特定の条件が満たされると、制約付き最小化写像 $ x^{i\star} $ は強く非拡大（FNE）または単調（MON）であることが示され、収束保証が可能になる。
• 本フレームワークは、多変数かつ凸制約付きの意見動的システムモデルに拡張可能であり、エージェントは周囲のエージェントの重み付き平均と個人のバイアスに基づいて意見を調整する。
• 本手法は、スマートビルにおける階層的需要応答スキームにおいて実証され、分散的かつスケーラブルな形でエネルギー消費を協調制御できることを示した。