[论文解读] Enhancing Efficiency in Multidevice Federated Learning through Data Selection

Fan Mo, Mohammad Malekzadeh+3 more|arXiv (Cornell University)|Nov 8, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

Centaur 是一种多层联邦学习框架，通过结合数据选择与基于划分的训练，使超受限边缘设备（UCDs）能够高效参与大型深度神经网络的训练。与 UCD 上的本地训练相比，其准确率提升约 10%，能耗降低约 58%，同时有效应对数据不平衡与连接异构性问题。

ABSTRACT

Ubiquitous wearable and mobile devices provide access to a diverse set of data. However, the mobility demand for our devices naturally imposes constraints on their computational and communication capabilities. A solution is to locally learn knowledge from data captured by ubiquitous devices, rather than to store and transmit the data in its original form. In this paper, we develop a federated learning framework, called Centaur, to incorporate on-device data selection at the edge, which allows partition-based training of a deep neural nets through collaboration between constrained and resourceful devices within the multidevice ecosystem of the same user. We benchmark on five neural net architecture and six datasets that include image data and wearable sensor time series. On average, Centaur achieves ~19% higher classification accuracy and ~58% lower federated training latency, compared to the baseline. We also evaluate Centaur when dealing with imbalanced non-iid data, client participation heterogeneity, and different mobility patterns. To encourage further research in this area, we release our code at https://github.com/nokia-bell-labs/data-centric-federated-learning

研究动机与目标

• 在内存、计算能力和连接性受限的超受限设备（UCDs）上实现高效的联邦学习，例如可穿戴设备和物联网传感器。
• 通过利用附近功能更强的设备（如智能手机）作为中继，解决 UCD 中不可靠且间歇性网络连接的挑战。
• 在资源受限、异构且数据不平衡的联邦学习环境中，降低能耗与带宽开销，同时保持高模型准确率。
• 设计一种系统，动态选择并仅将最具信息量的数据从 UCD 传输至接入点（APs），最大限度减少冗余通信与计算。
• 与现有联邦学习范式（如 FedAvg）兼容，并支持模型压缩与分层聚合等扩展，以进一步提升效率。

提出的方法

• 将深度神经网络划分为在 UCD 上训练的轻量级分类器和在功能更强的接入点（APs）上训练的强大编码器。
• 采用基于训练损失和梯度范数的数据选择机制，将样本分为三类：丢弃、在 UCD 上本地训练、传输至 APs。
• 在 UCD 上冻结编码器，仅在本地训练分类器，从而降低计算负载与能耗。
• 在 AP 上通过聚合来自 UCD 和 AP 的梯度执行联邦平均，实现在不传输完整模型的情况下联合更新模型。
• 采用资源感知的训练策略，根据动态连接性和设备能力自适应调整，确保在不同网络条件下具备鲁棒性。
• 支持与其他联邦学习算法（如 FedProx、FedAdam）的兼容性，并可扩展以支持神经架构搜索与无标签数据选择等技术。

实验结果

研究问题

• RQ1 如何在内存、计算能力和间歇性连接受限的超受限边缘设备（UCDs）上高效扩展联邦学习？
• RQ2 在多设备联邦学习环境中，何种数据选择策略可最大化模型准确率，同时最小化通信与能耗开销？
• RQ3 在 UCD 与 AP 之间进行模型划分在不损害收敛性或准确率的前提下，如何提升训练效率？
• RQ4 Centaur 在准确率、能效以及对数据不平衡和客户端异构性的鲁棒性方面，与基线本地训练和标准联邦学习相比，优势有多大？
• RQ5 该框架是否可扩展以支持每个 AP 对应多个 UCD，并与模型压缩或架构搜索等先进技术集成？

主要发现

• 在四个基准神经网络和三个数据集上，Centaur 相较于超受限设备上的本地训练，模型准确率平均提升约 10%。
• 由于选择性数据传输和 UCD 上的轻量级本地训练，该框架将平均能耗降低了 58%。
• 在数据不平衡条件下，Centaur 展现出优越性能，即使某些客户端贡献样本较少或代表性不足，仍能实现更好的收敛与准确率。
• 在不同网络连接概率下，系统保持高效率，表现出对间歇性客户端参与的鲁棒性。
• 基于划分的训练结合数据选择，可在 UCD 上实现有效的模型更新，同时将繁重计算任务卸载至 AP，实现准确率与资源使用的平衡。
• Centaur 与标准联邦学习算法（如 FedAvg）兼容，并可通过压缩与分层聚合技术进一步提升性能。