[论文解读] Decentralized federated learning of deep neural networks on non-iid data

Noa Onoszko, Gustav Karlsson+2 more|arXiv (Cornell University)|Jul 18, 2021

Privacy-Preserving Technologies in Data参考文献 24被引用 27

一句话总结

论文提出基于性能的邻居选择（PENS），一种完全去中心化的基于 gossip 的联邦学习方法，通过识别具有相似数据分布的对等方来改善非 IID 数据上的学习，显示出相对于基线的改进并接近一个 oracle。

ABSTRACT

We tackle the non-convex problem of learning a personalized deep learning model in a decentralized setting. More specifically, we study decentralized federated learning, a peer-to-peer setting where data is distributed among many clients and where there is no central server to orchestrate the training. In real world scenarios, the data distributions are often heterogeneous between clients. Therefore, in this work we study the problem of how to efficiently learn a model in a peer-to-peer system with non-iid client data. We propose a method named Performance-Based Neighbor Selection (PENS) where clients with similar data distributions detect each other and cooperate by evaluating their training losses on each other's data to learn a model suitable for the local data distribution. Our experiments on benchmark datasets show that our proposed method is able to achieve higher accuracies as compared to strong baselines.

研究动机与目标

• 在完全去中心化的联邦设置中解决非 IID 客户数据下个性化深度模型的学习问题。
• 开发一种去中心化算法，用于识别并利用具有相似数据分布的对等方。
• 评估所提方法在非 IID 数据基准上的相对基线的性能。

提出的方法

• 使用 gossip 协议实现点对点通信，无需中央服务器。
• Introduce Pens which first identifies neighbors with similar data distributions by evaluating the loss of each client’s model on others’ data over T rounds.
• 基于最低损失选择表现最好的邻居，并在本地训练前合并他们的模型。
• Then continue decentralized gossip with the chosen neighbor set to refine models.
• Provide baseline comparisons (Random Gossip, Local) and an Oracle with perfect distribution information.
• Experiment with CNN on CIFAR-10 and Fashion-MNIST under covariate shift via image rotations.

实验结果

研究问题

• RQ1 在没有中央服务器的情况下，完全去中心化的基于 gossip 的方法是否能在非 IID 数据上达到高准确度？
• RQ2 基于性能的邻居选择是否比随机邻居通信在去中心化联邦学习中提升学习效果？
• RQ3 Pens 能在多大程度上接近拥有各客户端数据分布的完美知识的 Oracle？
• RQ4 在协变量漂移下，Pens 的鲁棒性和参数敏感性（n_sampled、m）是什么？

主要发现

• Pens 在CIFAR-10 和 Fashion-MNIST 上，在非 IID 旋转下的表现优于随机 gossip 和本地训练的基线。
• 当本地数据足够多时，Pens 的准确率接近拥有完美分布知识的 Oracle。
• Pens 对 n_sampled 和 m 的变动表现出鲁棒性，尽管 n_sampled/m 的比值应保持平衡，以避免收敛到一个较小的对等方子集。
• 当 CIFAR-10 具有两个或四个旋转分布时，Pens 相较基线提高了准确率。
• 在 Fashion-MNIST 上，Pens 在每个客户端 100 和 500 训练样本时均显著优于基线。
• 该方法在非 IID 的协变量漂移下仍有效，即 D_i(x) 不同但 D_i(y|x) 相同。