[论文解读] Federated Learning with Heterogeneous Labels and Models for Mobile Activity Monitoring

Gautham Krishna Gudur, Satheesh K. Perepu|arXiv (Cornell University)|Dec 4, 2020

Privacy-Preserving Technologies in Data被引用 7

一句话总结

该论文提出了一种用于移动活动监测的联邦学习框架，通过基于标签的聚合与模型蒸馏，结合仅传输得分的通信方式，有效处理了标签和模型异构性问题。在Raspberry Pi 2上，该方法实现了平均11.01%的确定性准确率提升，证明了在减少通信开销的前提下，设备端学习的有效性。

ABSTRACT

Various health-care applications such as assisted living, fall detection, etc., require modeling of user behavior through Human Activity Recognition (HAR). Such applications demand characterization of insights from multiple resource-constrained user devices using machine learning techniques for effective personalized activity monitoring. On-device Federated Learning proves to be an effective approach for distributed and collaborative machine learning. However, there are a variety of challenges in addressing statistical (non-IID data) and model heterogeneities across users. In addition, in this paper, we explore a new challenge of interest -- to handle heterogeneities in labels (activities) across users during federated learning. To this end, we propose a framework for federated label-based aggregation, which leverages overlapping information gain across activities using Model Distillation Update. We also propose that federated transfer of model scores is sufficient rather than model weight transfer from device to server. Empirical evaluation with the Heterogeneity Human Activity Recognition (HHAR) dataset (with four activities for effective elucidation of results) on Raspberry Pi 2 indicates an average deterministic accuracy increase of at least ~11.01%, thus demonstrating the on-device capabilities of our proposed framework.

研究动机与目标

• 实现用户自定义模型架构的个性化、设备端联邦学习，用于人体活动识别（HAR）。
• 解决用户间标签异构性问题，即不同设备监控不同或重叠的活动集合。
• 通过仅传输模型得分而非完整模型权重，降低通信开销。
• 利用重叠活动信息，通过按标签加权聚合的方式提升全局模型性能。
• 在资源受限的移动设备（如Raspberry Pi 2）上验证该框架的可行性与效率。

提出的方法

• 提出一种联邦学习框架，利用本地模型蒸馏，将多样化本地模型的知识迁移至共享的学生架构。
• 采用基于标签的聚合策略，通过动态beta系数，依据标签重叠程度和本地模型准确率对全局模型更新进行加权。
• 使用公开数据集作为一致的测试集，未在训练过程中暴露，用于评估各轮次的性能表现。
• 仅从客户端向服务器传输模型得分（logits），而非完整模型权重，从而降低延迟与内存占用。
• 应用知识蒸馏技术，使本地模型与统一的学生架构对齐，即使在模型异构的情况下也能实现有效聚合。
• 在边缘设备上采用早停策略与Adam优化器，结合分类交叉熵损失，实现高效的本地训练。

实验结果

研究问题

• RQ1 联邦学习能否有效处理移动HAR中的标签异构性问题，即用户监控不同或重叠的活动集合？
• RQ2 用户间标签重叠程度如何影响联邦学习中全局模型的性能与鲁棒性？
• RQ3 在资源受限设备上，仅使用模型得分进行通信是否可替代完整模型权重传输而不降低性能？
• RQ4 在模型与数据异构的条件下，本地模型蒸馏在多大程度上能提升全局模型准确率？
• RQ5 所提出的框架是否能在真实移动硬件（如Raspberry Pi 2）上实现显著的准确率提升？

主要发现

• 所提框架在所有用户中，从本地到全局模型更新的平均确定性准确率提升了11.01%。
• 用户2（与其他用户存在活动重叠）的准确率提升最高（13.58%），得益于标签重叠带来的有效信息增益。
• 当存在重叠标签时，全局模型更新在本地准确率下降期间仍保持稳定，表现出良好鲁棒性。
• 该框架成功运行于Raspberry Pi 2，证实其在真实移动健康应用中实现设备端联邦学习的可行性。
• 仅传输得分的通信方式相比完整模型权重传输，显著降低了内存与延迟开销，有利于在边缘设备上高效部署。
• 模型蒸馏引入了适度的计算开销，但在Raspberry Pi 2等低端硬件上仍具可行性。