[論文レビュー] Federated Learning for Short-term Residential Load Forecasting

Christopher Briggs, Fan Zhong+1 more|arXiv (Cornell University)|May 27, 2021

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、スマートメーターでローカルにモデルを訓練し、グローバルなモデル更新を集約することで、消費者のデータプライバシーを保全するフェデレーテッドラーニング（FL）アプローチを、短期間の住宅用負荷予測に提案している。FLに階層的クラスタリング（FL+HC）とパーソナライゼーションステップを組み合わせることで、ローカルモデルと比較して最大5%の高い予測精度を達成し、計算量を約10倍削減できることを示しており、プライバシー保護型で高性能な負荷予測が実現可能であることを示している。

ABSTRACT

Load forecasting is an essential task performed within the energy industry to help balance supply with demand and maintain a stable load on the electricity grid. As supply transitions towards less reliable renewable energy generation, smart meters will prove a vital component to facilitate these forecasting tasks. However, smart meter adoption is low among privacy-conscious consumers that fear intrusion upon their fine-grained consumption data. In this work we propose and explore a federated learning (FL) based approach for training forecasting models in a distributed, collaborative manner whilst retaining the privacy of the underlying data. We compare two approaches: FL, and a clustered variant, FL+HC against a non-private, centralised learning approach and a fully private, localised learning approach. Within these approaches, we measure model performance using RMSE and computational efficiency. In addition, we suggest the FL strategies are followed by a personalisation step and show that model performance can be improved by doing so. We show that FL+HC followed by personalisation can achieve a $\sim$5\% improvement in model performance with a $\sim$10x reduction in computation compared to localised learning. Finally we provide advice on private aggregation of predictions for building a private end-to-end load forecasting application.

研究の動機と目的

• スマートメーターの導入を阻害するプライバシー懸念を解消するため、負荷予測モデルの分散型トレーニングを可能にする。
• 集中学習とローカル学習のベンチマークと比較して、フェデレーテッドラーニング（FL）およびクラスタリングを適用した変種（FL+HC）の性能を評価する。
• FLベースの負荷予測における計算効率とモデル性能のトレードオフを評価する。
• FLトレーニング後にパーソナライゼーションステップを適用することで、個々の家庭のモデル精度に与える影響を調査する。
• エンドツーエンドのプライベートな予測システムを実現するための予測値のプライベート集約に関する指針を提供する。

提案手法

• 本研究では、住宅用エネルギー消費データの時系列予測に、長短期記憶（LSTM）ネットワークを用いる。
• フェデレーテッドラーニング（FL）を用いて、生データを共有せずにクライアント（家庭）からのローカルモデル更新を集約することでグローバルモデルをトレーニングする。
• 非IIDデータに対応するため、K-meansクラスタリングを用いて類似したクライアントをグループ化し、各クラスタに特化したモデルをトレーニングするFL+HCというクラスタリング変種を採用する。
• グローバルなFLトレーニング後、各クライアントのローカルデータを用いて微調整するパーソナライゼーションステップを実施し、個別性能の向上を図る。
• 計算効率は、トレーニングに使用するサンプル総数（百万単位）を用いて、FL、FL+HC、集中学習、ローカル学習と比較して評価する。
• 最終段階として、エンドツーエンドのプライベート予測システムを実現するため、予測値のプライベート集約についても検討する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、データプライバシーを保ちながら、集中学習と同等またはそれ以上の予測性能を達成できるか？
• RQ2 FL+HCのクラスタリング手法は、標準的なFLと比較して、非IIDな住宅用負荷データに対してどのように性能を向上させるか？
• RQ3 ローカル学習と比較して、FLおよびFL+HCの計算コストはどの程度で、コスト削減が可能か？
• RQ4 FLトレーニング後にパーソナライゼーションステップを適用することで、個々の家庭のモデル精度が顕著に向上するか？
• RQ5 完全にプライベートなエンドツーエンドの予測パイプラインを実現するため、予測値のプライベート集約をどのように実装できるか？

主な発見

• FL+HCに続くパーソナライゼーションにより、完全にローカルな学習と比較して、RMSEの観点で約5%の性能向上が達成された。
• 最も優れたFL+HCモデルは、ローカル学習と比較して、トレーニングサンプルを約10倍削減した。
• FL+HCは、平均でローカルトレーニング比12.7倍、最良のモデルでは13.1倍の計算量削減を達成した。
• パーソナライゼーションステップは計算量が極めて少なく、グローバルなFLトレーニング後、数エポックの微調整で十分であった。
• FL+HCは、標準的なFLを上回り、集中学習と同等またはそれ以上の精度を達成しながら、データプライバシーを維持した。
• 予測値のプライベート集約は実現可能であり、完全なプライベート予測システムを構築する最終段階として推奨される。