[论文解读] Are Multiagent Systems Resilient to Communication Failures?

Philip N. Brown, Holly Borowski+1 more|arXiv (Cornell University)|Oct 23, 2017

Game Theory and Applications参考文献 18被引用 3

一句话总结

本文研究了在博弈论控制框架中，多智能体系统在通信故障下是否仍能保持鲁棒性。研究发现，即使单个智能体与另一个智能体失去通信，标准学习规则下仍可能导致任意差的系统结果；但当代理收益与潜在函数对齐时，通过局部效用函数的结构化设计，可保持系统的鲁棒性。

ABSTRACT

A challenge in multiagent control systems is to ensure that they are appropriately resilient to communication failures between the various agents. In many common game-theoretic formulations of these types of systems, it is implicitly assumed that all agents have access to as much information about other agents' actions as needed. This paper endeavors to augment these game-theoretic methods with policies that would allow agents to react on-the-fly to losses of this information. Unfortunately, we show that even if a single agent loses communication with one other weakly-coupled agent, this can cause arbitrarily-bad system states to emerge as various solution concepts of an associated game, regardless of how the agent accounts for the communication failure and regardless of how weakly coupled the agents are. Nonetheless, we show that the harm that communication failures can cause is limited by the structure of the problem; when agents' action spaces are richer, problems are more susceptible to these types of pathologies. Finally, we undertake an initial study into how a system designer might prevent these pathologies, and explore a few limited settings in which communication failures cannot cause harm.

研究动机与目标

• 研究博弈论多智能体系统在智能体之间失去通信时是否仍能保持鲁棒性。
• 考察通信故障对分布式控制系统中纳什均衡等解概念的影响。
• 确定智能体是否可被赋予在线反应策略，以在信息缺失时仍保持系统性能。
• 识别出通信故障不会损害系统行为的结构性条件。

提出的方法

• 作者将系统建模为具有唯一纯纳什均衡的潜在博弈，并分析通信丢失对最优响应动态的影响。
• 引入一个缩减的潜在函数 $\tilde{W}$，其在失去通信的智能体的动作上取最大值，作为真实潜在函数的代理。
• 设计代理效用函数 $\tilde{U}_1$ 以与 $\tilde{W}$ 对齐，确保最优响应仍能导向全局最优。
• 提出一个验证条件：若某玩家的代理效用函数在与缩减潜在函数一致的动作上取最大值，则缩减博弈在最优响应下仍保持弱无环性。
• 分析聚焦于无记忆学习规则，特别是异步最优响应动态，以评估收敛特性。
• 理论结果基于博弈论概念推导，如最优响应路径、潜在函数和纳什均衡唯一性。

实验结果

研究问题

• RQ1 具有唯一纯纳什均衡的多智能体系统是否能对智能体之间的通信故障保持鲁棒性？
• RQ2 在通信丢失时，智能体在何种条件下可计算出代理收益，以保持向最优均衡的收敛？
• RQ3 潜在函数的结构是否允许设计出安全的代理收益，以防止病态结果？
• RQ4 对单个智能体动作信息的缺失如何影响潜在博弈中学习算法的收敛性？
• RQ5 在智能体缺乏对其他智能体完整信息的情况下，无记忆学习规则是否仍能确保系统整体效率？

主要发现

• 即使单个智能体与另一个智能体失去通信，标准博弈论学习规则下仍可能导致任意差的系统结果，与耦合强度无关。
• 当智能体缺乏对其他智能体动作的信息时，由于代理收益不匹配，通信故障可能导致收敛至次优均衡。
• 当代理收益与缩减潜在函数 $\tilde{W}$ 对齐时，系统在最优响应下仍保持弱无环性，并收敛至唯一纳什均衡。
• 鲁棒性的充分条件是：某玩家的代理效用函数必须在与缩减潜在函数一致的动作上取最大值。
• 在具有唯一纯纳什均衡的潜在博弈中，安全代理收益的存在性可得到保证，但若无法访问全局潜在函数，则这些代理收益可能不可计算。
• 结果表明，系统设计者必须仔细将局部效用函数与全局潜在函数对齐，以在信息丢失下保持鲁棒性。