[论文解读] Auction Based Clustered Federated Learning in Mobile Edge Computing System

Renhao Lu, Weizhe Zhang+3 more|arXiv (Cornell University)|Mar 12, 2021

Privacy-Preserving Technologies in Data参考文献 27被引用 8

一句话总结

本文提出了一种基于拍卖的聚类联邦学习框架，用于移动边缘计算，以解决数据异质性（非独立同分布和数据不平衡）以及能量约束问题。通过基于模型相似性对客户端进行聚类，并在聚类内采用拍卖机制以平衡能量消耗与收敛速度，该方案在真实数据分布和资源受限条件下实现了更快的收敛速度和更高的模型准确率。

ABSTRACT

In recent years, mobile clients' computing ability and storage capacity have greatly improved, efficiently dealing with some applications locally. Federated learning is a promising distributed machine learning solution that uses local computing and local data to train the Artificial Intelligence (AI) model. Combining local computing and federated learning can train a powerful AI model under the premise of ensuring local data privacy while making full use of mobile clients' resources. However, the heterogeneity of local data, that is, Non-independent and identical distribution (Non-IID) and imbalance of local data size, may bring a bottleneck hindering the application of federated learning in mobile edge computing (MEC) system. Inspired by this, we propose a cluster-based clients selection method that can generate a federated virtual dataset that satisfies the global distribution to offset the impact of data heterogeneity and proved that the proposed scheme could converge to an approximate optimal solution. Based on the clustering method, we propose an auction-based clients selection scheme within each cluster that fully considers the system's energy heterogeneity and gives the Nash equilibrium solution of the proposed scheme for balance the energy consumption and improving the convergence rate. The simulation results show that our proposed selection methods and auction-based federated learning can achieve better performance with the Convolutional Neural Network model (CNN) under different data distributions.

研究动机与目标

• 解决联邦学习中移动边缘客户端间的数据异质性问题——特别是非独立同分布（Non-IID）和数据不平衡分布。
• 通过实现能量均衡的客户端选择，缓解移动边缘客户端中的能量消耗瓶颈。
• 通过利用客户端聚类和基于激励的选人机制，提升联邦学习的收敛速度与模型准确率。
• 设计一种基于纳什均衡的拍卖机制，公平分配训练参与权，同时平衡能量使用与学习性能。

提出的方法

• 提出一种基于初始梯度相似性的客户端聚类策略，以构建近似全局数据分布的联邦虚拟数据集。
• 在每个聚类内应用拍卖机制，客户端根据其能量水平和模型质量进行出价，以选择参与训练的客户端。
• 在拍卖过程中采用纳什均衡解法，确保客户端参与决策的稳定性和公平性。
• 在利普希茨连续性和强凸性假设下，提供理论收敛性分析，证明算法可收敛至近似最优解。
• 采用步长规则，并利用与模型平滑性和客户端能量相关的常数，界定损失函数的期望下降量。
• 推导出收敛边界，表明期望损失差距呈指数衰减，残差误差取决于系统参数。

实验结果

研究问题

• RQ1 基于初始梯度的客户端聚类是否能有效缓解联邦学习中非独立同分布和数据不平衡数据的影响？
• RQ2 在聚类内采用拍卖机制，如何在移动边缘联邦学习中平衡能量消耗并提升收敛速率？
• RQ3 所提出的方案是否在客户端参与决策中达到纳什均衡，确保策略稳定性和公平性？
• RQ4 与随机选择或非聚类选择相比，聚类与基于拍卖的选择在多大程度上提升了收敛速度和模型准确率？
• RQ5 在所提出的客户端选择与聚类策略下，能够提供哪些收敛性的理论保证？

主要发现

• 所提出的基于聚类的客户端选择方法生成的联邦虚拟数据集近似于全局数据分布，有效减轻了数据异质性的负面影响。
• 拍卖机制实现了纳什均衡，确保了客户端参与决策的稳定与公平，同时平衡了能量消耗与收敛性能。
• 理论分析证明，该算法可收敛至近似最优解，其期望损失差距受一个与最小能量水平和模型平滑性成反比的项所限制。
• 仿真结果表明，在各种非独立同分布和数据不平衡的数据分布下，使用卷积神经网络（CNNs）时，该方法的收敛速度更快，模型准确率更高，优于基线方法。
• 当系统中数据异质性较高且客户端能量有限时，该方案的收敛速率显著提升。