[论文解读] Fully Decentralized, Scalable Gaussian Processes for Multi-Agent Federated Learning

George P. Kontoudis, Daniel J. Stilwell|arXiv (Cornell University)|Mar 6, 2022

Gaussian Processes and Bayesian Inference被引用 7

一句话总结

本文提出了一种完全去中心化、可扩展的高斯过程（GP）方法，用于多智能体联邦学习，采用近端ADMM进行去中心化超参数训练，并通过一致性聚合实现预测。该方法实现了O(N²)的预测可扩展性，结合基于协方差的最近邻选择策略，实现了无需中心协调的高效、隐私保护型学习。

ABSTRACT

In this paper, we propose decentralized and scalable algorithms for Gaussian process (GP) training and prediction in multi-agent systems. To decentralize the implementation of GP training optimization algorithms, we employ the alternating direction method of multipliers (ADMM). A closed-form solution of the decentralized proximal ADMM is provided for the case of GP hyper-parameter training with maximum likelihood estimation. Multiple aggregation techniques for GP prediction are decentralized with the use of iterative and consensus methods. In addition, we propose a covariance-based nearest neighbor selection strategy that enables a subset of agents to perform predictions. The efficacy of the proposed methods is illustrated with numerical experiments on synthetic and real data.

研究动机与目标

• 解决去中心化多智能体系统中高斯过程的可扩展性与通信瓶颈问题。
• 实现在无中心协调或数据集中化情况下的完全去中心化GP训练与预测。
• 在保持预测准确性和不确定性量化的同时，降低计算与通信开销。
• 通过避免原始数据传输，确保符合GDPR等隐私法规要求。
• 开发适用于GPS拒止或带宽受限环境中的实时应用的可扩展、分布式推理方法。

提出的方法

• 使用近端ADMM将最大似然估计（MLE）的GP超参数训练去中心化，实现通过对偶变量更新的本地优化。
• 推导出去中心化近端ADMM的闭式解，降低每轮迭代的计算与通信开销。
• 采用迭代式且基于一致性的聚合协议，实现无需中心融合节点的多智能体预测结果组合。
• 提出一种基于协方差的最近邻（CBNN）选择策略，利用核函数衰减识别用于本地预测的相关智能体。
• 应用13种去中心化预测方法，包括DEC-NPAE与DEC-NN-NPAE，通过本地协作近似全局GP预测。
• 通过利用径向基核函数衰减与路径图拓扑约束，保持最近邻图的强连通性。

实验结果

研究问题

• RQ1 能否在保持收敛性与准确性的前提下，使用ADMM实现高斯过程超参数训练的完全去中心化？
• RQ2 在通信量最小化的前提下，如何在去中心化多智能体系统中高效近似GP预测？
• RQ3 基于协方差的最近邻选择策略对预测准确性与通信效率有何影响？
• RQ4 与集中式GP相比，所提方法在智能体数量与观测数量增加时的可扩展性如何？
• RQ5 所提出的去中心化GP框架能否在降低计算与通信成本的同时保持预测不确定性量化？

主要发现

• 所提出的基于近端ADMM的GP训练方法实现了闭式解，支持高效去中心化超参数优化，并显著减少每轮迭代的通信量。
• 基于协方差的最近邻（CBNN）选择策略在最小化参与预测的智能体数量的同时，确保了本地预测图的强连通性。
• 去中心化预测方法，特别是DEC-NN-NPAE，在保持与集中式GP相当的预测准确性的同时，显著降低了通信开销。
• 在合成数据与真实数据上的数值实验表明，该方法具备良好的可扩展性与鲁棒性，预测性能接近集中式GP基线。
• 该方法支持在去中心化、带宽受限的环境中实现隐私保护的实时学习，适用于多机器人系统或自动驾驶车辆等场景。