[论文解读] FedNILM: Applying Federated Learning to NILM Applications at the Edge

Yu Zhang, Guoming Tang+4 more|arXiv (Cornell University)|Jun 7, 2021

Smart Grid Energy Management被引用 6

一句话总结

FedNILM 提出了一种联邦学习框架，用于在边缘设备上实现隐私保护的个性化非侵入式负载监测（NILM），结合通过滤波器剪枝实现的模型压缩与多任务学习，以及用于个性化的无监督迁移学习。该方法在真实世界数据上实现了最先进水平的分解准确率，同时保护了用户隐私，并在低端边缘硬件上高效运行。

ABSTRACT

Non-intrusive load monitoring (NILM) helps disaggregate the household's main electricity consumption to energy usages of individual appliances, thus greatly cutting down the cost in fine-grained household load monitoring. To address the arisen privacy concern in NILM applications, federated learning (FL) could be leveraged for NILM model training and sharing. When applying the FL paradigm in real-world NILM applications, however, we are faced with the challenges of edge resource restriction, edge model personalization and edge training data scarcity. In this paper we present FedNILM, a practical FL paradigm for NILM applications at the edge client. Specifically, FedNILM is designed to deliver privacy-preserving and personalized NILM services to large-scale edge clients, by leveraging i) secure data aggregation through federated learning, ii) efficient cloud model compression via filter pruning and multi-task learning, and iii) personalized edge model building with unsupervised transfer learning. Our experiments on real-world energy data show that, FedNILM is able to achieve personalized energy disaggregation with the state-of-the-art accuracy, while ensuring privacy preserving at the edge client.

研究动机与目标

• 为解决非侵入式负载监测（NILM）中的隐私问题，实现无需集中化用户数据即可训练模型。
• 克服边缘设备在计算能力、内存和带宽方面的限制，以部署深度学习模型。
• 提升模型在不同家庭（具有不同电器使用模式）中的泛化能力和个性化水平。
• 缓解由于源数据集（如 REDD）与目标数据集（如 UK-DALE）之间的领域偏移导致的性能下降。
• 实现在 NVIDIA Jetson Nano 等低端边缘设备上的高效、实时能源分解。

提出的方法

• 利用联邦学习在不收集原始家庭用电数据的情况下训练全局 NILM 模型，确保数据隐私。
• 应用滤波器剪枝与多任务学习压缩 MTL-Seq2Point 模型，降低模型大小与推理成本。
• 采用无监督迁移学习结合 CORAL（领域自适应）方法，对齐源域与目标域之间的特征分布。
• 在边缘设备上使用本地主电路功率数据对最后的全连接层进行本地微调，以实现模型个性化。
• 使用联邦平均算法聚合本地更新的模型，迭代优化全局模型。
• 将压缩并个性化的模型部署在边缘设备上，实现推理延迟低于一秒的实时推理。

Figure 1: (a) The DNN structure adopted by Seq2Point model. (b) The DNN structure for MTL-Seq2Point model, i.e., shared convolutional and fully connected layers for $N$ appliances.

实验结果

研究问题

• RQ1 联邦学习能否在边缘设备上有效应用于 NILM，同时保护用户隐私并应对资源限制？
• RQ2 滤波器剪枝与多任务学习等模型压缩技术如何在不牺牲分解准确率的前提下减小模型大小？
• RQ3 当从公开数据集（如 REDD）泛化到未见过的家庭（如 UK-DALE）时，无监督迁移学习在多大程度上提升了 NILM 性能？
• RQ4 对预训练模型的最后全连接层进行微调，对目标家庭数据上的性能有何影响？
• RQ5 所提出的 FedNILM 框架能否在低端边缘设备上实现高准确率、个性化的能源分解？

主要发现

• 通过迁移学习，FedNILM 框架在目标域上实现了 MAE 提升 45.84%、SAE 提升 82.39%，F1 分数绝对值改善 -27.27%。
• 结合 CORAL 的迁移学习将 MAE 最多降低 45%，SAE 最多降低 86.63%，展现出强大的领域自适应能力。
• 对最后全连接层进行微调的效果优于冻结它们，表现为在目标域上 MAE 和 SAE 更低，F1 分数更高。
• 在 Jetson Nano 上，每个电器的模型训练时间约为 100 秒，而推理时间低于一秒，支持实时运行。
• 当从 conv1 到 conv5 逐层迁移时，性能逐步提升，表明源域预训练特征能有效增强目标域上的泛化能力。
• 该框架在资源受限的边缘设备上保持了高准确率与高隐私保护水平，同时实现高效运行，证明了其在真实世界 NILM 应用中的实际可行性。

Figure 2: Overview of the FedNILM framework.