[論文レビュー] A game-theoretic analysis of networked system control for common-pool resource management using multi-agent reinforcement learning

Arnu Pretorius, Scott Cameron+7 more|arXiv (Cornell University)|Oct 15, 2020

Evolutionary Game Theory and Cooperation参考文献 42被引用数 5

ひとこと要約

本稿は、共用資源（CPR）管理におけるネットワーク化マルチエージェント強化学習（MARL）システムの異なる情報構造が均衡結果に与える影響を評価するために、経験的ゲーム理論的分析（EGTA）を適用する。NeurComm以外の手法では、個々の最適な結果とシステム全体の最適な結果が一致する安定的かつ効率的な均衡に到達しないことが判明した。これは、微分可能通信が、単なるパフォーマンス指標を超えて社会的に望ましい結果を実現する上で極めて重要な役割を果たしていることを示している。

ABSTRACT

Multi-agent reinforcement learning has recently shown great promise as an approach to networked system control. Arguably, one of the most difficult and important tasks for which large scale networked system control is applicable is common-pool resource management. Crucial common-pool resources include arable land, fresh water, wetlands, wildlife, fish stock, forests and the atmosphere, of which proper management is related to some of society's greatest challenges such as food security, inequality and climate change. Here we take inspiration from a recent research program investigating the game-theoretic incentives of humans in social dilemma situations such as the well-known tragedy of the commons. However, instead of focusing on biologically evolved human-like agents, our concern is rather to better understand the learning and operating behaviour of engineered networked systems comprising general-purpose reinforcement learning agents, subject only to nonbiological constraints such as memory, computation and communication bandwidth. Harnessing tools from empirical game-theoretic analysis, we analyse the differences in resulting solution concepts that stem from employing different information structures in the design of networked multi-agent systems. These information structures pertain to the type of information shared between agents as well as the employed communication protocol and network topology. Our analysis contributes new insights into the consequences associated with certain design choices and provides an additional dimension of comparison between systems beyond efficiency, robustness, scalability and mean control performance.

研究の動機と目的

• ネットワーク化MARLシステムにおける情報構造が、CPR管理における出現的ゲーム理論的解概念に与える影響を理解すること。
• MARLシステムが、効率的であるだけでなく、公平かつ持続可能である均衡に収束するかどうかを評価すること。
• 従来のパフォーマンス指標にとどまらず、安全で重要な応用分野におけるMARLシステム行動を評価するためのゲーム理論的分析という重要な視点を導入すること。
• システム設計の選択、特に通信プロトコルが、学習された均衡の安定性と公平性を直接的に規定することを示すこと。

提案手法

• CPR管理のMARLシステムにおける学習済み均衡を分析するために、経験的ゲーム理論的分析（EGTA）を適用する。
• 通信プロトコル（例：DIAL、CommNet、NeurComm）やネットワークトポロジーを変化させた複数のMARLアルゴリズムを評価する。
• 社会的指標として、ユーティリタリアン（集団報酬）、平等性（分配の公平性）、持続可能性（資源再生率）を用いて、均衡の安定性と効率性を評価する。
• 均衡が自己強制的（SSD）であるか、個々のインcentiveがシステム全体の最適性と一致するかを同定する。
• 再生可能資源の抽出をモデル化した簡略化されたCPR環境を用い、共有アクセスと収穫の限界収益の減少を再現することで、過剰漁業や水不足といった現実世界のジレンマを模擬する。
• 環境条件を同一にすることで、情報構造の影響を明確に分離し、出現的行動に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク化MARLシステムにおける異なる情報構造が、CPR管理の文脈でどのようなゲーム理論的解概念を生じさせるか？
• RQ2 異なる通信プロトコルが、学習済み均衡の安定性と効率性にどのように影響を与えるか？
• RQ3 MARLシステムが、個々に合理的かつ集団的に最適な均衡に到達する程度はどの程度か？
• RQ4 社会的ジレンマの状況で、安定的かつ公平的かつ持続可能な結果を達成するシステム設計を特定できるか？

主な発見

• NeurCommは、唯一、個々のインセンティブとシステム全体の最適性が一致する安定的均衡に到達しており、これは負のSSDスコア（C₃ < 0）によって裏付けられている。
• DIALおよびCommNetは高いシステムパフォーマンスを達成しているが、協力者と裏切り者の間で報酬が不均等に分配されるため、均衡は非効率的である（ただし安定）。
• NeurComm以外のすべてのアルゴリズムが、SSD条件を示しており、全体のパフォーマンスが高くても、裏切りが依然として報酬になると判明している。
• 全エージェントが協力する状況で、NeurCommは最高のユーティリタリアンスコアと持続可能性レベルを達成しており、優れた協調能力を示している。
• NeurCommのユーティリタリアンおよび持続可能性指標は、均衡状態でも優れており、戦略的逸脱に対しても頑健であることが示された。
• 本研究は、通信プロトコル設計が、単に高いパフォーマンスを達成するのではなく、効率的かつ公平な結果を実現する上で決定的な要因であることを示している。