[论文解读] Gaussian Process Based Message Filtering for Robust Multi-Agent Cooperation in the Presence of Adversarial Communication

Rupert Mitchell, Jan Blumenkamp+1 more|arXiv (Cornell University)|Dec 1, 2020

Gaussian Processes and Bayesian Inference被引用 7

一句话总结

本文提出了一种基于高斯过程的多智能体系统消息过滤框架，以增强对对抗性通信的鲁棒性。通过使用可学习的GP核函数对空间相关的消息编码进行建模，智能体能够计算通信伙伴可信度的置信度分数，从而在多种对抗性条件下以极低的性能损失有效过滤误导性消息。

ABSTRACT

In this paper, we consider the problem of providing robustness to adversarial communication in multi-agent systems. Specifically, we propose a solution towards robust cooperation, which enables the multi-agent system to maintain high performance in the presence of anonymous non-cooperative agents that communicate faulty, misleading or manipulative information. In pursuit of this goal, we propose a communication architecture based on Graph Neural Networks (GNNs), which is amenable to a novel Gaussian Process (GP)-based probabilistic model characterizing the mutual information between the simultaneous communications of different agents due to their physical proximity and relative position. This model allows agents to locally compute approximate posterior probabilities, or confidences, that any given one of their communication partners is being truthful. These confidences can be used as weights in a message filtering scheme, thereby suppressing the influence of suspicious communication on the receiving agent's decisions. In order to assess the efficacy of our method, we introduce a taxonomy of non-cooperative agents, which distinguishes them by the amount of information available to them. We demonstrate in two distinct experiments that our method performs well across this taxonomy, outperforming alternative methods. For all but the best informed adversaries, our filtering method is able to reduce the impact that non-cooperative agents cause, reducing it to the point of negligibility, and with negligible cost to performance in the absence of adversaries.

研究动机与目标

• 为解决多智能体系统在对抗性通信下的脆弱性问题，即非合作智能体传输误导性或故障信息。
• 开发一种去中心化、可学习的通信架构，使智能体能够在不了解其行为先验知识的情况下检测并过滤对抗性消息。
• 使用可微分的GP基础概率框架建模邻近智能体间消息的互信息，以捕捉空间依赖性。
• 将该模型集成到图神经网络（GNN）通信架构中，实现在不确定性下的可扩展、局部化决策。
• 在具有不同信息访问水平的敌对行为分类体系下评估该方法，证明其鲁棒性及性能下降最小化。

提出的方法

• 采用基于GNN的通信架构，实现仅与邻居通信的去中心化消息交换，消息为经过学习的自编码器编码的观测值。
• 使用具有可学习核函数的高斯过程（GP）对空间邻近智能体间潜在消息编码的联合分布进行建模，以捕捉预期的互信息。
• GP基于智能体位置进行条件化，并通过变分自编码（AEVB）框架进行训练，以建模消息编码的先验分布。
• 通过GP的预测分布计算每个通信伙伴的后验置信度分数（信任水平），实现对消息可靠性的概率评估。
• 设计一种消息过滤机制，根据计算出的置信度分数对传入消息进行加权，抑制可疑或敌对智能体的信号。
• 通过平均 $ \frac{1}{2}(\mathbf{c}_{ij} + \mathbf{c}_{ji}^T) $ 对方法进行对称化处理并实现排列不变性，确保图中智能体顺序变化时的鲁棒性。

实验结果

研究问题

• RQ1 基于GP的模型能否有效捕捉多智能体系统中消息编码的空间依赖性，以检测异常通信？
• RQ2 所提出的过滤机制在具有不同信息访问水平的敌对智能体谱系中表现如何？
• RQ3 该过滤机制在多大程度上降低了非合作智能体的影响，同时在无敌对环境下的性能损失可忽略？
• RQ4 该方法能否在不损害去中心化或可扩展性的前提下集成到基于GNN的通信架构中？
• RQ5 与替代异常检测方法相比，该模型的置信度估计在鲁棒性和效率方面表现如何？

主要发现

• 所提出的方法显著降低了除信息最充分的敌对智能体外所有类型敌对智能体的影响，使其影响降至可忽略水平。
• 除最知情的敌对智能体外，所有敌对类型下消息过滤均能有效抑制误导性信息，且系统性能下降最小。
• 在良性条件下，该方法保持高性能，当无敌对智能体存在时，对合作任务执行的性能影响可忽略。
• 基于GP的置信度估计通过建模消息编码中的空间相关性，实现了对异常消息的准确检测。
• 在所定义的敌对行为分类体系下，该方法在鲁棒性和适应性方面均优于基线方法。
• 模型的可微分GP核函数支持端到端训练，并能泛化到未见过的智能体配置，展现出良好的可扩展性和鲁棒性。