[论文解读] Analysis and Optimal Edge Assignment For Hierarchical Federated Learning on Non-IID Data

Naram Mhaisen, Awad, Alaa+3 more|arXiv (Cornell University)|Dec 10, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用 4

一句话总结

本文提出了一种分层联邦学习（HFL）中的最优用户-边缘节点分配策略，以减少非独立同分布（non-IID）数据导致的模型性能下降。通过最小化边缘层数据分布与全局分布之间的统计差异，该方法通过一种启发式优化策略，在边缘节点间平衡类别分布，从而提升收敛速度与准确率。

ABSTRACT

Distributed learning algorithms aim to leverage distributed and diverse data stored at users' devices to learn a global phenomena by performing training amongst participating devices and periodically aggregating their local models' parameters into a global model. Federated learning is a promising paradigm that allows for extending local training among the participant devices before aggregating the parameters, offering better communication efficiency. However, in the cases where the participants' data are strongly skewed (i.e., non-IID), the local models can overfit local data, leading to low performing global model. In this paper, we first show that a major cause of the performance drop is the weighted distance between the distribution over classes on users' devices and the global distribution. Then, to face this challenge, we leverage the edge computing paradigm to design a hierarchical learning system that performs Federated Gradient Descent on the user-edge layer and Federated Averaging on the edge-cloud layer. In this hierarchical architecture, we formalize and optimize this user-edge assignment problem such that edge-level data distributions turn to be similar (i.e., close to IID), which enhances the Federated Averaging performance. Our experiments on multiple real-world datasets show that the proposed optimized assignment is tractable and leads to faster convergence of models towards a better accuracy value.

研究动机与目标

• 解决用户设备间非独立同分布（non-IID）数据分布导致的联邦学习性能下降问题。
• 将分层联邦学习中的用户-边缘节点分配问题形式化为一项优化任务，以最小化边缘层数据分布与全局分布之间的差异。
• 利用边缘计算基础设施，实现可重构的数据均衡分配，从而提升FedAvg性能。
• 针对现实世界约束，提出可计算的解决方案——包括精确解法（分支定界法）与启发式方法，以应对NP难的分配问题。
• 证明通过平衡边缘层数据分布，可在实际中实现更快的收敛速度与更高的模型准确率。

提出的方法

• 将用户-边缘节点分配问题建模为最小化每个边缘节点数据分布与全局数据分布之间加权L2距离的问题。
• 针对边缘节点分配规模相等的简化线性版本，提出基于分支定界法的求解方案。
• 提出一种贪心启发式算法，通过迭代将用户分配至边缘节点，以均衡各边缘节点间的类别分布。
• 在用户-边缘层与边缘-云层均采用FedAvg算法，且模型聚合时按本地数据集大小加权。
• 通过限制用户仅能分配至通信范围内的边缘节点，整合网络拓扑约束。
• 在具有多个边缘节点的用户场景下，使用真实世界数据集在受控仿真环境中验证优化效果。

实验结果

研究问题

• RQ1 本地数据分布与全局分布之间的统计差异，在分层联邦学习中如何影响模型收敛性？
• RQ2 是否可通过优化用户-边缘节点分配，以最小化边缘层数据分布差异，从而提升FedAvg性能？
• RQ3 在双目标优化框架中，最小化用户-边缘分布距离与最小化边缘-云分布距离之间存在何种权衡？
• RQ4 基于启发式的用户-边缘节点分配策略在实现边缘节点间数据分布均衡方面效果如何？
• RQ5 在非IIDs设置下，优化后的用户-边缘节点分配在多大程度上提升了收敛速度与最终模型准确率？

主要发现

• 与集中式模型的偏差上界与各节点数据分布和全局分布之间的加权距离成正比，验证了最小化该差异的必要性。
• 所提出的启发式用户-边缘节点分配方法在多个真实世界数据集上，相较于随机或未优化的分配方式，实现了更快的收敛速度与更高的最终准确率。
• 在用户仅能接入两个边缘节点的数据集上，优化分配带来了显著的性能提升，证明了其实际可行性。
• 该启发式方法虽为次优解，但在简化情况下与最优解接近，尤其在类别分布均衡时表现更优。
• 该问题为NP难问题，但启发式方法提供了可计算且可扩展的解决方案，适用于移动与边缘学习系统的实时部署。
• 未来工作应考虑双目标优化，平衡用户-边缘与边缘-云之间的分布距离，特别是在用户-边缘通信延迟显著时。