[論文レビュー] Game Theoretic Control of Multi-Agent Systems

Ting Liu, Jinhuan Wang+1 more|arXiv (Cornell University)|Jul 31, 2016

Distributed Control Multi-Agent Systems参考文献 11被引用数 5

ひとこと要約

本稿では、局所的な報酬関数を設計することにより、多エージェントシステムの分散制御をゲーム理論的枠組みで行う手法を提案する。この手法により、システムはグローバルな目的関数を最大化するナッシュ均衡に収束する。固定および時間変動型の接続構造に対して、半テンソル積（semi-tensor product, STP）を用いた手法により、このような報酬関数の存在に必要な十分条件が導出され、インertia付きのより良い反応（better reply）ダイナミクスによって、システム全体の最適状態への収束が保証される。

ABSTRACT

Control of multi-agent systems via game theory is investigated. Assume a system level object is given, the utility functions for individual agents are designed to convert a multi-agent system into a potential game. First, for fixed topology, a necessary and sufficient condition is given to assure the existence of local information based utility functions. Then using local information the system can converge to a maximum point of the system object, which is a Nash equilibrium. It is also proved that a networked evolutionary potential game is a special case of this multi-agent system. Second, for time-varying topology, the state based potential game is utilized to design the optimal control. A strategy based Markov state transition process is proposed to assure the existence of state based potential function. As an extension of the fixed topology case, a necessary and sufficient condition for the existence of state depending utility functions using local information is also presented. It is also proved that using better reply with inertia strategy, the system converges to a maximum strategy of the state based system object, which is called the recurrent state equilibrium.

研究の動機と目的

• 局所的な報酬関数を設計することにより、個々のエージェントのインcentiveをグローバルなシステム目的関数と一致させ、多エージェントシステムの分散制御を可能にすること。
• 固定接続構造における多エージェントシステムにおいて、局所情報に基づく報酬関数の存在に必要な十分条件を確立すること。
• 状態に基づくポテンシャルゲームとマルコフ戦略遷移を用いて、時変接続構造へのフレームワークの拡張を図ること。
• インertia付きのより良い反応ダイナミクスのもとで、システムレベルの目的関数の最大値への収束を証明すること。
• ネットワーク型進化的ポテンシャルゲームが、提案されたフレームワークの特殊ケースであることを示すこと。

提案手法

• 行列の半テンソル積（STP）を用いて、多エージェントシステムにおける有限ゲームおよび戦略ダイナミクスをモデル化・分析する。
• ポテンシャル方程式を用いて、与えられたシステムレベルの目的関数を持つポテンシャルゲームとして表現可能な条件を特徴付ける。
• システムのポテンシャル関数に関する行列のランク条件を用いて、固定接続構造における局所情報に基づく報酬関数の存在に必要な十分条件を導出する。
• 時変接続構造における状態ベースのポテンシャル関数の存在と、ポテンシャル関数の非減少性を保証するため、戦略に基づくマルコフ状態遷移プロセスを導入する。
• インertia付きのより良い反応ダイナミクスを適用し、状態ベースのポテンシャル関数を最大にする再発状態均衡への確実な収束を保証する。
• 論理行列とベクトル化表現を用いて、導出された条件を満たす明示的な報酬関数を構築する。

Figure 1 : Game Theoretic Approach

実験結果

リサーチクエスチョン

• RQ1 固定接続構造を有する多エージェントシステムにおいて、局所的な報酬関数をどのように設計すれば、システムがグローバルな目的関数を最大化するナッシュ均衡に収束するか？
• RQ2 時変接続構造に拡張する場合、最適なシステム状態への収束を保証しながら、フレームワークをどのように拡張できるか？
• RQ3 動的接続構造において、局所情報のみを用いて状態依存の報酬関数の存在を保証する条件は何か？
• RQ4 分散学習ダイナミクス（例：インertia付きのより良い反応）のもとで、グローバル最適への収束を保証できるか？
• RQ5 ネットワーク型進化的ポテンシャルゲームは、この一般化されたゲーム理論的制御フレームワークにどの程度適合するか？

主な発見

• 固定接続構造における多エージェントシステムにおいて、局所情報に基づく報酬関数の存在に必要な十分条件が、システムのポテンシャル関数に関する行列ランク条件を用いて導出された。
• フレームワークにより、ネットワーク型進化的ポテンシャルゲームが、システムレベルの目的関数を有する提案された多エージェントシステムモデルの特殊ケースであることが証明された。
• 時変接続構造では、状態ベースのポテンシャル関数の存在と、ポテンシャル関数の非減少的進化を保証するため、戦略に基づくマルコフ過程が提案された。
• インertia付きのより良い反応ダイナミクスを用いることで、システムは確実に再発状態均衡に収束し、状態ベースのポテンシャル関数を最大にする。
• 具体例を通じて、システムが確率1で一様化に到達することが示された。ここで全エージェントが行動 $a^* = (1,1,1,1)$ を採用し、グローバルな目的関数を最大化する。
• 一意の再発状態均衡 $[a^*, x^*]$ が特定され、ここで $a^* = (1,1,1,1)$ かつ $x^* \in \{x_2, x_3\}$ であり、これは提案されたダイナミクスのもとで確実な極限として得られる。

Figure 2 : A Network