[論文レビュー] Are Multiagent Systems Resilient to Communication Failures?

Philip N. Brown, Holly Borowski+1 more|arXiv (Cornell University)|Oct 23, 2017

Game Theory and Applications参考文献 18被引用数 3

ひとこと要約

本稿は、ゲーム理論的制御フレームワークにおけるマルチエージェントシステムが通信障害に対してレジリエンスを保つかどうかを調査する。標準的な学習ルール下では、1人のエージェントが他の1人のエージェントとの通信を失うだけで、システムの成果が任意に悪化する可能性があることが示されたが、特に代理報酬がポテンシャル関数と整合している場合、局所的報酬関数の構造的設計により、レジリエンスを維持できる条件を同定した。

ABSTRACT

A challenge in multiagent control systems is to ensure that they are appropriately resilient to communication failures between the various agents. In many common game-theoretic formulations of these types of systems, it is implicitly assumed that all agents have access to as much information about other agents' actions as needed. This paper endeavors to augment these game-theoretic methods with policies that would allow agents to react on-the-fly to losses of this information. Unfortunately, we show that even if a single agent loses communication with one other weakly-coupled agent, this can cause arbitrarily-bad system states to emerge as various solution concepts of an associated game, regardless of how the agent accounts for the communication failure and regardless of how weakly coupled the agents are. Nonetheless, we show that the harm that communication failures can cause is limited by the structure of the problem; when agents' action spaces are richer, problems are more susceptible to these types of pathologies. Finally, we undertake an initial study into how a system designer might prevent these pathologies, and explore a few limited settings in which communication failures cannot cause harm.

研究の動機と目的

• エージェント同士の通信喪失が生じた場合に、ゲーム理論的マルチエージェントシステムがレジリエンスを保ち続けるかどうかを調査すること。
• 分散制御システムにおけるナッシュ均衡などの解概念に、通信障害が与える影響を検討すること。
• 情報欠如の下でもシステム性能を維持できるように、エージェントにオンラインリアクティブなポリシーを備えさせられるかどうかを特定すること。
• 通信障害がシステム行動に悪影響を及げない構造的条件を同定すること。

提案手法

• 著者らは、一意な純粋ナッシュ均衡を有するポテンシャルゲームとしてシステムをモデル化し、通信喪失が最適反応ダイナミクスに与える影響を分析した。
• 通信を失ったエージェントの行動についての最大化を実行する、縮小されたポテンシャル関数 $\tilde{W}$ を導入し、真のポテンシャル関数の代理として機能させた。
• 代理報酬関数 $\tilde{U}_1$ を、$\tilde{W}$ と整合するように設計し、最適反応が依然としてグローバル最適解へ向かうように保証した。
• 証明として、プレイヤーの代理報酬関数が縮小されたポテンシャル関数と整合する行動について最大化するならば、縮小ゲームは最適反応の下で弱く非巡回的（weakly-acyclic）のまま保たれることを提示した。
• 収束特性を評価するために、特に非同期的最適反応ダイナミクスを含むメモリレスな学習ルールに焦点を当てた。
• 最適反応経路、ポテンシャル関数、ナッシュ均衡の一意性といったゲーム理論的概念を用いて、理論的結果を導出した。

実験結果

リサーチクエスチョン

• RQ1 一意な純粋ナッシュ均衡を有するマルチエージェントシステムは、エージェント間の通信障害に対してもレジリエンスを保ち続けられるか？
• RQ2 通信が失われた場合に、最適均衡への収束を保つために、エージェントが代理報酬を計算できる条件は何か？
• RQ3 ポテンシャル関数の構造が、病理的結果を防ぐ安全な代理報酬設計を可能にするか？
• RQ4 1人のエージェントの行動に関する情報の喪失が、ポテンシャルゲームにおける学習アルゴリズムの収束に与える影響は何か？
• RQ5 エージェントが他のエージェントの完全な情報を欠如している場合でも、メモリレスな学習ルールが、システム全体の効率性を保証できるか？

主な発見

• 結合強度にかかわらず、標準的なゲーム理論的学習ルール下では、1人のエージェントが他の1人のエージェントとの通信を失うだけで、任意に悪い結果が生じ得る。
• エージェントが他のエージェントの行動についての情報を欠如している場合、代理報酬が不整合であると、最適でない均衡への収束が生じ得る。
• 代理報酬が縮小されたポテンシャル関数 $\tilde{W}$ と整合している場合、システムは最適反応の下で弱く非巡回的であり、一意なナッシュ均衡へ収束する。
• レジリエンスを確保するための十分条件は、プレイヤーの代理報酬関数が、縮小されたポテンシャル関数と整合する行動について最大化することにある。
• 一意な純粋ナッシュ均衡を有するポテンシャルゲームでは、安全な代理報酬の存在が保証されるが、グローバルなポテンシャル関数へのアクセスがなければ、これらは計算不能である可能性がある。
• 結果から、情報喪失下でもレジリエンスを維持するためには、システム設計者が局所的報酬関数をグローバルなポテンシャル関数と慎重に一致させる必要があることが示唆された。