[論文レビュー] Wind Power Forecasting Considering Data Privacy Protection: A Federated Deep Reinforcement Learning Approach

Yang Li, Ruinong Wang+3 more|arXiv (Cornell University)|Nov 2, 2022

Energy Load and Power Forecasting被引用数 10

ひとこと要約

本稿では、分散学習を組み合わせた深層決定的方策勾配（DDPG）を用いて、分散型で高精度な超短期的風力発電予測を実現するプライバシー保護型風力発電予測フレームワーク「Federated Deep Reinforcement Learning（FedDRL）」を提案する。生データを共有するのではなくモデルパラメータのみを共有することで、FedDRLは中央集権的アプローチと同等の予測精度を達成するとともに、通信負荷を著しく低減し、データプライバシーのリスクを排除する。

ABSTRACT

In a modern power system with an increasing proportion of renewable energy, wind power prediction is crucial to the arrangement of power grid dispatching plans due to the volatility of wind power. However, traditional centralized forecasting methods raise concerns regarding data privacy-preserving and data islands problem. To handle the data privacy and openness, we propose a forecasting scheme that combines federated learning and deep reinforcement learning (DRL) for ultra-short-term wind power forecasting, called federated deep reinforcement learning (FedDRL). Firstly, this paper uses the deep deterministic policy gradient (DDPG) algorithm as the basic forecasting model to improve prediction accuracy. Secondly, we integrate the DDPG forecasting model into the framework of federated learning. The designed FedDRL can obtain an accurate prediction model in a decentralized way by sharing model parameters instead of sharing private data which can avoid sensitive privacy issues. The simulation results show that the proposed FedDRL outperforms the traditional prediction methods in terms of forecasting accuracy. More importantly, while ensuring the forecasting performance, FedDRL can effectively protect the data privacy and relieve the communication pressure compared with the traditional centralized forecasting method. In addition, a simulation with different federated learning parameters is conducted to confirm the robustness of the proposed scheme.

研究の動機と目的

• 複数の風力発電所が異なるステークホルダーを有する状況において、データのプライバシーとデータ・アイルランド問題に取り組む。
• 深層強化学習を用いて、超短期的風力発電予測の予測精度を向上させる。
• ステークホルダー間で機密な生風力データを共有せずに、分散型のモデル学習を可能にする。
• 従来の中央集権的予測システムと比較して、通信負荷を低減する。
• さまざまな分散学習設定下でも、予測フレームワークの頑健性とスケーラビリティを確保する。

提案手法

• 風力発電予測のためのポリシー関数と価値関数のエンドツーエンド学習を可能にするために、核心となる予測モデルとして深層決定的方策勾配（DDPG）アルゴリズムを採用する。
• DDPGを分散学習フレームワークに統合し、各風力発電所でプライベートデータ上で局所モデルを学習し、中央サーバーに送信するのは更新済みのモデルパラメータのみとする。
• 中央のパラメータサーバーを用いて局所モデルの更新を集約し、グローバルモデルを更新することで、生データを露呈せずに収束を確保する。
• 学習効率と通信負荷のバランスを取るために、設定可能な同期インターバルを持つ同期型分散学習プロトコルを実装する。
• 多様な風力発電所の状況下でも頑健性と一般化性能を向上させるために、DDPGフレームワークに不確実性モデリングを適用する。
• 深層強化学習環境における学習の安定化を図るため、クライアント側のローカル学習ループに経験リプレイとターゲットネットワークを実装する。

実験結果

リサーチクエスチョン

• RQ1 分散型深層強化学習フレームワークは、データプライバシーを守りながら、中央集権的アプローチと同等の風力発電予測精度を達成できるか？
• RQ2 従来の中央集権的データ収集と比較して、提案されたFedDRLフレームワークは通信負荷をどの程度低減できるか？
• RQ3 参加率や同期インターバルといった異なる分散学習パラメータ設定下でも、FedDRLは予測精度と頑健性をどの程度維持できるか？
• RQ4 ステークホルダー間でのデータ共有を要件とせず、FedDRLは風力発電予測におけるデータ・アイルランド問題を効果的に緩和できるか？
• RQ5 ARIMA、BPNN、中央集権的DDPGと比較して、NMAEやNRMSEといった予測誤差指標においてFedDRLはどの程度の性能を示すか？

主な発見

• 従来の予測手法と比較して、FedDRLはNMAEを最低29.25%、NRMSEを最低46.47%低減し、優れた予測精度を示した。
• FedDRLの予測性能は中央集権的DDPGと同等であり、予測された風力発電出力と確率密度分布に最小限の差異が認められた。
• 中央集権的アプローチと比較して、FedDRLは通信負荷の最小88.34%の削減を達成し、長時間の同期インターバルでは97.08%まで向上した。
• 異なる風力発電所においても安定した性能を維持しており、NMAE値は0.0207から0.0433の範囲に収まっており、一貫性のある精度を示した。
• 参加率や同期インターバルを変化させた実験により、FedDRLが多様な分散学習設定下でも頑健であることが確認された。
• 各風力発電所に生風力データを局所的に保持することで、データ漏洩を防止し、プライバシーとデータ所有権の懸念を解決した。