[论文解读] Distributed Learning with Adversarial Agents Under Relaxed Network Condition

Pooja Vyavahare, Lili Su+1 more|arXiv (Cornell University)|Jan 7, 2019

Distributed Sensor Networks and Detection Algorithms参考文献 11被引用 8

一句话总结

本文提出了一种用于具有敌对代理的多智能体网络的分布式非贝叶斯学习算法，该算法无需全局共识。证明了只要从每个代理可达的所有代理能够共同识别真实状态，那么该代理几乎必然能够学习到真实状态，从而放宽了先前要求网络拓扑中必须达成共识的假设。

ABSTRACT

This work studies the problem of non-Bayesian learning over multi-agent network when there are some adversarial (faulty) agents in the network. At each time step, each non-faulty agent collects partial information about an unknown state of the world and tries to estimate true state of the world by iteratively sharing information with its neighbors. Existing algorithms in this setting require that all non-faulty agents in the network should be able to achieve consensus via local information exchange. In this work, we present an analysis of a distributed algorithm which does not require the network to achieve consensus. We show that if every non-faulty agent can receive enough information (via iteratively communicating with neighbors) to differentiate the true state of the world from other possible states then it can indeed learn the true state.

研究动机与目标

• 解决多智能体网络中存在敌对代理（拜占庭故障）的非贝叶斯学习问题。
• 放宽先前要求非故障代理通过本地通信达成共识的假设。
• 建立非故障代理仍能几乎必然学习到世界真实状态的条件。
• 将先前结果推广至不一定是强连通或具备共识能力的网络。

提出的方法

• 提出一种基于本地通信和似然比几何平均的迭代信息共享算法。
• 引入一种网络条件，即每个非故障代理都能从其邻居处获得足够信息以区分真实状态。
• 使用行随机矩阵 Φ(t,r+1) 建模信息传播，并对故障代理的影响施加约束。
• 采用对数似然比 ψₜⁱ(θ,θ*) 追踪信念集中度，表明其在错误状态上发散至 -∞。
• 应用引理1限制网络中源组件内非故障代理的影响，确保收敛至真实状态。
• 采用几乎必然收敛分析，证明错误状态上的信念会渐近趋于零。

实验结果

研究问题

• RQ1 在未实现全局共识的多智能体网络中，若存在拜占庭代理，非贝叶斯学习是否仍能成功？
• RQ2 何种更弱的网络条件足以使非故障代理学习到真实状态？
• RQ3 是否可以放宽对网络强连通性或共识能力的要求，以实现鲁棒的分布式学习？
• RQ4 当不需达成共识时，故障代理的影响如何影响信念收敛？
• RQ5 该分析能否扩展至动态或异步网络设置？

主要发现

• 该算法确保每个非故障代理几乎必然随时间推移将其信念集中于真实状态 θ*。
• 收敛的关键条件是：从任一代理可达的所有代理必须能共同识别真实状态。
• 分析无需网络达成共识，从而放宽了先前工作中的一项基本假设。
• 任何错误状态 θ ≠ θ* 上的信念几乎必然收敛至零，因为 ψₜⁱ(θ,θ*) → -∞。
• 收敛速率有下界，与时间的平方项相关，满足 ψₜⁱ(θ,θ*)/t² ≤ -β^ν C₁/(2n)，其中 β, ν, C₁ 为某些常数。
• 该结果可推广至无故障网络，允许存在断开或弱连通分量，而无需像先前工作那样要求强连通性。