[论文解读] Federated learning with hierarchical clustering of local updates to improve training on non-IID data

Christopher Briggs, Fan Zhong+1 more|arXiv (Cornell University)|Apr 24, 2020

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出联邦学习分层聚类（FL+HC），通过在训练前基于本地模型更新的相似性对客户端进行聚类，从而在非独立同分布（non-iID）数据上提升训练性能。FL+HC将通信轮次减少5倍以上，并在非独立同分布设置下，尤其采用曼哈顿距离与完全链接方法时，使达到目标准确率的客户端数量最多提升2倍。

ABSTRACT

Federated learning (FL) is a well established method for performing machine learning tasks over massively distributed data. However in settings where data is distributed in a non-iid (not independent and identically distributed) fashion -- as is typical in real world situations -- the joint model produced by FL suffers in terms of test set accuracy and/or communication costs compared to training on iid data. We show that learning a single joint model is often not optimal in the presence of certain types of non-iid data. In this work we present a modification to FL by introducing a hierarchical clustering step (FL+HC) to separate clusters of clients by the similarity of their local updates to the global joint model. Once separated, the clusters are trained independently and in parallel on specialised models. We present a robust empirical analysis of the hyperparameters for FL+HC for several iid and non-iid settings. We show how FL+HC allows model training to converge in fewer communication rounds (significantly so under some non-iid settings) compared to FL without clustering. Additionally, FL+HC allows for a greater percentage of clients to reach a target accuracy compared to standard FL. Finally we make suggestions for good default hyperparameters to promote superior performing specialised models without modifying the the underlying federated learning communication protocol.

研究动机与目标

• 为解决在数据非独立同分布时联邦学习性能下降的问题，特别是由于客户端间统计异质性导致的问题。
• 在不修改核心联邦学习通信协议的前提下，提升非-iID设置下的模型准确率与收敛速度。
• 识别分层聚类在联邦学习中的有效超参数，以在数据分布未知时提供稳健且默认的配置方案。
• 评估不同聚类度量方法与链接策略在各种非-iID数据场景下对模型性能的影响。

提出的方法

• 在固定通信轮次后引入分层聚类步骤，根据客户端本地模型权重更新的相似性对客户端进行分组。
• 使用L2、L1、曼哈顿距离与余弦距离度量权重空间中客户端更新之间的相似性。
• 采用完全链接、平均链接、单链接与沃德链接方法，形成具有相似更新模式的客户端聚类。
• 在每个聚类上独立训练专用模型，从而提升性能，优于单一全局模型。
• 采用联邦平均（FedAvg）进行全局模型聚合，并在训练过程中周期性应用聚类。
• 通过测试准确率以及在多个数据集与非-iID设置下达到目标准确率阈值的客户端数量来评估性能。

实验结果

研究问题

• RQ1 在非-iID联邦学习设置下，客户端更新的分层聚类如何影响收敛速度与测试准确率？
• RQ2 在分层聚类中，哪种距离度量与链接方法在不同类型的非-iID数据中表现最佳？
• RQ3 与标准联邦学习相比，FL+HC能否在保持或提升模型准确率的同时减少通信轮次？
• RQ4 当数据非-iID分布的性质未知时，FL+HC的最优默认超参数是什么？

主要发现

• 在某些非-iID设置下，FL+HC将收敛所需的通信轮次减少5倍以上，尤其在使用曼哈顿距离与完全链接方法时效果显著。
• 在标签互换的非-iID设置下，余弦距离度量相比其他度量方法表现略优。
• 曼哈顿距离与完全链接结合使用，使第50轮时达到目标准确率的客户端数量相比标准FL提升1.1倍。
• 在非-iID设置下，FL+HC使达到目标准确率的客户端数量最多提升2倍，同时保持或提升最终测试准确率。
• 在基于用户的FEMNIST非-iID设置下，FL+HC相较于标准FL优势有限，表明其在复杂条件分布偏移下存在局限性。
• 对于未知非-iID数据，推荐默认配置为曼哈顿距离与完全链接，该组合在客户端收敛与鲁棒性方面始终优于其他组合。