[論文レビュー] A Secure Federated Learning Framework for Residential Short Term Load Forecasting

Muhammad Akbar Husnoo, Adnan Anwar+4 more|arXiv (Cornell University)|Sep 29, 2022

Electricity Theft Detection Techniques被引用数 6

ひとこと要約

本稿では、住宅用短期負荷予測のための安全で微分プライバシーを満たすフェデレーテッドラーニングフレームワークを提案する。このフレームワークは、符号勾配確率的勾配降下法（SignSGD）を用い、Byzantine攻撃に対して耐性を高めるとともに、データプライバシーを保持する。この手法により通信負荷を低減し、悪意あるクライアントノードの増加に対してもモデル収束を維持する。FedSGDに比べ、精度と計算効率がそれぞれ30%向上する。

ABSTRACT

Smart meter measurements, though critical for accurate demand forecasting, face several drawbacks including consumers' privacy, data breach issues, to name a few. Recent literature has explored Federated Learning (FL) as a promising privacy-preserving machine learning alternative which enables collaborative learning of a model without exposing private raw data for short term load forecasting. Despite its virtue, standard FL is still vulnerable to an intractable cyber threat known as Byzantine attack carried out by faulty and/or malicious clients. Therefore, to improve the robustness of federated short-term load forecasting against Byzantine threats, we develop a state-of-the-art differentially private secured FL-based framework that ensures the privacy of the individual smart meter's data while protect the security of FL models and architecture. Our proposed framework leverages the idea of gradient quantization through the Sign Stochastic Gradient Descent (SignSGD) algorithm, where the clients only transmit the `sign' of the gradient to the control centre after local model training. As we highlight through our experiments involving benchmark neural networks with a set of Byzantine attack models, our proposed approach mitigates such threats quite effectively and thus outperforms conventional Fed-SGD models.

研究の動機と目的

• データ共有とサイバー脅威の可能性によるスマートグリッド負荷予測におけるプライバシーとセキュリティの脆弱性を是正する。
• 住宅用負荷予測のフェデレーテッドラーニングにおけるByzantine攻撃のリスクを軽減する。
• 実世界のスマートグリッド導入に適した通信効率的かつプライバシー保護型のFLフレームワークを開発する。
• データ汚染、モデル漏洩、および共謀する悪意ある脅威に対してモデルの耐性を確保する。
• 勾配量子化とノイズ注入により計算効率を向上させ、スケーラビリティを強化する。

提案手法

• 勾配の符号のみを送信する符号確率的勾配降下法（SignSGD）を活用し、完全な勾配ではなく符号を送信することで通信負荷を低減し、耐性を高める。
• クライアント側でモデルパラメータに局所的なノイズを追加することで微分プライバシーを適用し、勾配から元のデータを再構築できないようにする。
• 局所的データ汚染、モデル漏洩および汚染、および共謀攻撃の3つのデータ整合性脅威モデルを設計・評価する。
• モデル学習をオフラインで実施し、推論をオンラインで実行するハイブリッドトレーニング・インフェンスパイプラインを採用し、計算をリアルタイム制約から分離する。
• クライアントの更新を量子化およびプライバシー保護した上で集約する集中型アグリゲーションメカニズムを実装し、グローバルモデルを形成する。
• 実世界のオーストラリアのAusgridエネルギー消費データを用い、複数の攻撃シナリオにおいて実証的評価を実施する。

Figure 1: An illustration of the steps involved in FL.

実験結果

リサーチクエスチョン

• RQ1 住宅用負荷予測において、Byzantineクライアントノードの数が増加する条件下で、SignSGDに基づくフェデレーテッドラーニングはどのように動作するか？
• RQ2 SignSGDによる勾配量子化は、データ汚染およびモデル改ざん攻撃に対してどの程度耐性を高められるか？
• RQ3 クライアント側に適用された微分プライバシーは、勾配逆転攻撃を効果的に防止できるか？また、モデル精度に顕著な損失を及えることはないか？
• RQ4 訓練時間と通信コストの観点から、SignSGDの計算効率はFedSGDおよびFedAvgに比べてどの程度優れているか？
• RQ5 プライバシー保護型FL環境における負荷予測の文脈で、ノイズ注入がモデル収束性と予測精度に与える影響は何か？

主な発見

• SignSGDは、最大50％のクライアントが悪意ある状況下でも安定した収束と低い損失を維持したが、FedSGDは急速に性能が低下し、発散を示した。
• 提案フレームワークは、FedAvgに比べて約20％、FedSGDに比べて約30％の訓練時間を短縮した。これは勾配送信サイズの削減によるものである。
• 局所的ノイズ注入による微分プライバシーは、勾配逆転攻撃を効果的に防止し、個人のデータプライバシーを保持しながら顕著な精度損失を引き起こさなかった。
• 3つの異なるByzantine脅威モデル（局所的データ汚染、モデル漏洩および汚染、共謀攻撃）の下でも、モデルは耐性を示した。
• 実際のAusgridデータを用いた実証的評価により、提案フレームワークは標準的なFL設定と同等の予測精度を達成したが、セキュリティと効率性が著しく向上した。
• フレームワークは優れた一般化性能とスケーラビリティを示し、プライバシーに配慮したスマートグリッド環境への導入に適していることが示された。

Figure 2: An illustration of proposed approach.