[論文レビュー] FedNILM: Applying Federated Learning to NILM Applications at the Edge

Yu Zhang, Guoming Tang+4 more|arXiv (Cornell University)|Jun 7, 2021

Smart Grid Energy Management被引用数 6

ひとこと要約

FedNILM は、エッジデバイスにおけるプライバシー保護型でパーソナライズ可能な非侵襲的負荷監視（NILM）のためのフェデレーテッドラーニングフレームワークを提案する。モデル圧縮のフィルタープルーニングとマルチタスク学習に加え、パーソナライズのための教師なし転移学習を統合することで、実世界のデータ上で最先端の分解能を達成するとともに、ユーザーのプライバシーを守り、低性能エッジハードウェアでも効率的に動作する。

ABSTRACT

Non-intrusive load monitoring (NILM) helps disaggregate the household's main electricity consumption to energy usages of individual appliances, thus greatly cutting down the cost in fine-grained household load monitoring. To address the arisen privacy concern in NILM applications, federated learning (FL) could be leveraged for NILM model training and sharing. When applying the FL paradigm in real-world NILM applications, however, we are faced with the challenges of edge resource restriction, edge model personalization and edge training data scarcity. In this paper we present FedNILM, a practical FL paradigm for NILM applications at the edge client. Specifically, FedNILM is designed to deliver privacy-preserving and personalized NILM services to large-scale edge clients, by leveraging i) secure data aggregation through federated learning, ii) efficient cloud model compression via filter pruning and multi-task learning, and iii) personalized edge model building with unsupervised transfer learning. Our experiments on real-world energy data show that, FedNILM is able to achieve personalized energy disaggregation with the state-of-the-art accuracy, while ensuring privacy preserving at the edge client.

研究の動機と目的

• ユーザーのデータを中央に集積せずにモデル学習を可能にすることで、非侵襲的負荷監視（NILM）におけるプライバシー懸念を解決すること。
• 低性能なエッジデバイスにおける計算能力、メモリ、帯域幅の制限を克服し、ディープラーニングモデルの展開を可能にすること。
• 異なる家庭の家電使用パターンの多様性に対応するため、モデルの汎化性能とパーソナライズ性を向上させること。
• 公開データセット（例：REDD）から未観測の家庭（例：UK-DALE）への一般化において生じるドメインシフトの影響を軽減すること。
• NVIDIA Jetson Nano などの低性能エッジデバイス上で、効率的かつリアルタイムにエネルギー分解能を実現すること。

提案手法

• フェデレーテッドラーニングを活用して、家庭の原始的なエネルギーデータを収集せずにグローバルな NILM モデルを学習させ、データプライバシーを確保する。
• フィルタープルーニングとマルチタスク学習を適用して、MTL-Seq2Point モデルを圧縮し、モデルサイズと推論コストを低減する。
• CORAL（ドメイン適応）を用いた教師なし転移学習により、ソースドメインとターゲットドメイン間の特徴分布を一致させる。
• エッジデバイスでローカルのメイン電力データを用いて、最後の全結合層をローカルでファインチューニングすることで、モデルをパーソナライズする。
• フェデレーテッドアベレージを用いて、ローカルで更新されたモデルを統合し、グローバルモデルを段階的に改善する。
• 圧縮され、パーソナライズされたモデルをエッジデバイスにデプロイし、1秒未満の遅延でリアルタイム推論を実現する。

Figure 1: (a) The DNN structure adopted by Seq2Point model. (b) The DNN structure for MTL-Seq2Point model, i.e., shared convolutional and fully connected layers for $N$ appliances.

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、エッジでのプライバシー保護とリソース制約を満たしつつ、NILM に効果的に適用可能か？
• RQ2 フィルタープルーニングやマルチタスク学習などのモデル圧縮技術は、分解能の精度を損なわずにモデルサイズを小さくできるか？
• RQ3 教師なし転移学習は、公開データセット（例：REDD）から未観測の家庭（例：UK-DALE）への一般化において、どの程度 NILM の性能を向上させるか？
• RQ4 事前学習済みモデルの最後の全結合層をファインチューニングすることで、ターゲット家庭のデータに対する性能にどのような影響を与えるか？
• RQ5 提案された FedNILM フレームワークは、低性能エッジデバイス上で高精度でパーソナライズ可能なエネルギー分解能を達成できるか？

主な発見

• 転移学習を用いることで、ターゲットドメインにおいて MAE が最大 45.84% 向上、SAE が 82.39% 向上、F1 スコアが -27.27%（絶対値での改善）を記録した。
• CORAL を用いた転移学習により、全家電機器で MAE が最大 45% 減少、SAE が最大 86.63% 減少し、強力なドメイン適応能力を示した。
• 最後の全結合層をファインチューニングすることで、固定する場合よりも優れた性能を発揮し、MAE と SAE が低く、F1 スコアが高くなった。
• Jetson Nano における1家電機器あたりのモデル学習時間は約 100 秒であり、推論時間は 1 秒未塔であったため、リアルタイム動作が可能であった。
• conv1 から conv5 までの層を段階的に転送する際、性能が段階的に向上したため、ソースドメインの事前学習済み特徴がターゲットドメインでの汎化性能を向上させることを示した。
• リソース制限のあるエッジデバイスでも高い精度とプライバシー保護を維持しながら効率的に動作し、実世界の NILM 応用における実用的妥当性を示した。

Figure 2: Overview of the FedNILM framework.