[論文レビュー] AMI-FML: A Privacy-Preserving Federated Machine Learning Framework for AMI

Milan Biswal, Abu Saleh Tayeen+1 more|arXiv (Cornell University)|Sep 12, 2021

Smart Grid Energy Management被引用数 6

ひとこと要約

本稿では、スマートメーターの消費データ上でローカルLSTMモデルを学習し、中央集約者に送信するのはモデル重みのみであるため、ユーザーのデータプライバシーを保護する、先進的メーターインフラレーション（AMI）向けのプライバシー保護型フェデレーテッドマシンラーニングフレームワークAMI-FMLを提案する。フレームワークは、4ビット量子化と毎日のモデル更新により、MAEで11%の精度向上を達成し、NRMSEを0.094に低下させ、通信効率を量子化および構造的スパarsificationにより向上させる。

ABSTRACT

Machine learning (ML) based smart meter data analytics is very promising for energy management and demand-response applications in the advanced metering infrastructure(AMI). A key challenge in developing distributed ML applications for AMI is to preserve user privacy while allowing active end-users participation. This paper addresses this challenge and proposes a privacy-preserving federated learning framework for ML applications in the AMI. We consider each smart meter as a federated edge device hosting an ML application that exchanges information with a central aggregator or a data concentrator, periodically. Instead of transferring the raw data sensed by the smart meters, the ML model weights are transferred to the aggregator to preserve privacy. The aggregator processes these parameters to devise a robust ML model that can be substituted at each edge device. We also discuss strategies to enhance privacy and improve communication efficiency while sharing the ML model parameters, suited for relatively slow network connections in the AMI. We demonstrate the proposed framework on a use case federated ML (FML) application that improves short-term load forecasting (STLF). We use a long short-term memory(LSTM) recurrent neural network (RNN) model for STLF. In our architecture, we assume that there is an aggregator connected to a group of smart meters. The aggregator uses the learned model gradients received from the federated smart meters to generate an aggregate, robust RNN model which improves the forecasting accuracy for individual and aggregated STLF. Our results indicate that with FML, forecasting accuracy is increased while preserving the data privacy of the end-users.

研究の動機と目的

• 生のデータ送信を回避することで、AMIデータ分析におけるユーザーのプライバシー懸念に対処すること。
• スマートグリッドにおける分散型機械学習アプリケーション向けに汎用的なフェデレーテッドラーニングフレームワークを開発すること。
• モデルパラメータの圧縮を通じて、低帯域幅のAMIネットワークにおける通信効率を向上させること。
• 個々のユーザーのデータを露呈せずに、共同モデルトレーニングを用いて短期負荷予測（STLF）の精度を向上させること。
• 実際のスマートメーターのデータを用いたLSTMベースのSTLFアプリケーションのプロトタイプ実装を通じて、フレームワークを検証すること。

提案手法

• 各スマートメーターは、自身の消費データ上でトレーニングされたローカルLSTMモデルを保有し、生のデータの代わりにモデル重み（勾配）を共有する。
• 中央集約者は、フェデレーテッドアベレージングを用いてモデル更新を集約し、グローバルで強固なRNNモデルを形成する。
• モデルパラメータの量子化（2〜4ビット）と構造的スパース化（ランダムマスク）により、通信効率を向上させる。
• パラメータの圧縮と微分プライバシーに配慮した技術を用いることで、個々のデータパターンの意図しない記憶を最小限に抑える。
• モデル更新は、30分ごとまたは毎日、定期的に交換され、応答性とトレーニングの安定性のバランスを取る。
• LSTMモデルは、長期的な時系列依存性を活用して、毎日の消費パターンや順序的なパターンを捉えるためにトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 AMIシステムにおいて、ユーザーのプライバシーを保護しつつ、フェデレーテッドラーニングをスマートメーターのデータ分析に効果的に適用できるか？
• RQ2 モデル更新の頻度（30分ごと対毎日）が、AMI環境下での短期負荷予測精度にどのように影響するか？
• RQ3 量子化と構造的スパース化を通じて、モデル性能を劣化させることなく、通信効率をどの程度向上させられるか？
• RQ4 4ビット量子化やランダムマスクなどのモデル圧縮技術は、単なるデータ転送の削減を超えて、プライバシーをどのように強化できるか？
• RQ5 フェデレーテッドアベレージングで学習されたグローバルモデルは、ローカルモデルに比べて短期負荷予測でどのように優れているか？

主な発見

• AMI-FMLフレームワークは、毎日のモデル更新により、平均NRMSEを0.094、MAEを0.312に低下させ、非フェデレーテッドなローカルモデルと比較してMAEで11%の改善を達成した。
• 24時間ごとの更新では、30分ごとの更新よりも低い誤差指標が得られ、より長い時系列がLSTMが毎日の消費パターンを学習するのを支援していることが示された。
• 4ビットのアダプティブ量子化は、NRMSE 0.10、MAE 0.32を達成し、フル精度のベースラインとほぼ同等の性能を示し、最小限の性能損失で効果的な圧縮が可能であることを実証した。
• 2%のゼロを含むランダムマスクによるスパース化により、NRMSE 0.10、MAE 0.34に誤差が低下し、構造的スパース化が予測精度を維持していることが示された。
• 生の消費データが露出しないように、モデルパラメータのみを送信することで、ユーザーのプライバシーが効果的に保護された。
• フェデレーテッドラーニングの統合により、全クラスタで予測精度が向上し、30分ごとおよび毎日の更新シナリオの両方で一貫した誤差低減が観察された。