[论文解读] Bayesian Nonparametric Federated Learning of Neural Networks

Mikhail Yurochkin, Mayank Agarwal+4 more|arXiv (Cornell University)|May 28, 2019

Privacy-Preserving Technologies in Data被引用 147

一句话总结

一种贝叶斯非参数框架（Beta-Bernoulli 过程）将本地训练或预训练的神经网络聚合成一个在不数据汇聚的情况下的压缩全局模型，潜在地在单轮通信中完成。

ABSTRACT

In federated learning problems, data is scattered across different servers and exchanging or pooling it is often impractical or prohibited. We develop a Bayesian nonparametric framework for federated learning with neural networks. Each data server is assumed to provide local neural network weights, which are modeled through our framework. We then develop an inference approach that allows us to synthesize a more expressive global network without additional supervision, data pooling and with as few as a single communication round. We then demonstrate the efficacy of our approach on federated learning problems simulated from two popular image classification datasets.

研究动机与目标

• 在由于隐私、成本或法规等原因无法汇聚数据时，推动联邦学习。
• 提出一个 BNP 框架，用于在不同数据源之间匹配和合并局部神经网络组件。
• 将本地模型训练与全局聚合解耦，以允许异质的本地学习者。
• 实现全局模型参数数量少于所有本地参数总和的压缩全局模型。

提出的方法

• 将局部神经网络神经元建模为从 Beta 过程中抽取的原子，并用 Bernoulli 过程来在每个批次选择全局原子。
• 使用 MAP 估计在匹配的局部神经元给定的条件下推断全局神经元参数（Proposition 1）。
• 应用基于 Hungarian 算法的分配来最优匹配局部神经元与全局原子（Propositions 2 and 3）。
• 将单层匹配扩展到多层网络，具有全局层原子自上而下的生成过程以及逐层匹配（Definitions 1 和 Propositions 3–4）。
• 通过从全局模型重新初始化局部权重并重新匹配来更新全局网络，从而允许额外的通信轮次（Section 3.3）。

实验结果

研究问题

• RQ1 来自不同数据源的局部神经网络参数是否可以通过概率匹配来形成一个无数据共享的、连贯的全局神经网络？
• RQ2 基于 Beta-Bernoulli 过程的匹配是否能产生压缩的全局模型，优于简单的集成与简单的联邦平均？
• RQ3 在联邦设置中，该方法如何从单层扩展到多层（深度）网络？
• RQ4 额外的通信轮次对全局模型的性能和规模有何影响？

主要发现

• PFNM 能在单轮通信中从多个本地模型合成一个全局神经网络。
• 该方法产生的全局模型参数数量少于所有本地参数的总和。
• 在测试的 MNIST 和 CIFAR-10 设置中，PFNM 在同质和异质分区下均优于本地模型和联邦平均。
• 随着额外的通信，PFNM 继续优于基线，并在规模更小的情况下与集合模型保持竞争力。
• 实验使用固定规模的局部网络（例如，L_j = 100 个隐藏神经元）来展示显著的压缩和性能提升。
• 该方法支持在不访问训练数据的情况下，结合预训练的遗留模型。