[論文レビュー] FedWOA: A Federated Learning Model that uses the Whale Optimization Algorithm for Renewable Energy Prediction

Viorica Rozina Chifu, Tudor Cioara+3 more|arXiv (Cornell University)|Sep 19, 2023

Smart Grid Energy ManagementEngineering被引用数 3

ひとこと要約

本稿では、再生可能エネルギー予測におけるグローバルモデル集約を改善するために、クジラ最適化アルゴリズム（WOA）を統合したフェデレーテッドラーニングモデル、FedWOAを提案する。局所モデルの重みを最適化し、非IIDプロシューマー・データを処理するためにK-Meansクラスタリングを用いることで、FedAVGと比較してMSEが25%低減、MAEが16%低減され、精度と収束性の向上が実証された。

ABSTRACT

Privacy is important when dealing with sensitive personal information in machine learning models, which require large data sets for training. In the energy field, access to household prosumer energy data is crucial for energy predictions to support energy grid management and large-scale adoption of renewables however citizens are often hesitant to grant access to cloud-based machine learning models. Federated learning has been proposed as a solution to privacy challenges however report issues in generating the global prediction model due to data heterogeneity, variations in generation patterns, and the high number of parameters leading to even lower prediction accuracy. This paper addresses these challenges by introducing FedWOA a novel federated learning model that employs the Whale Optimization Algorithm to aggregate global prediction models from the weights of local LTSM neural network models trained on prosumer energy data. The proposed solution identifies the optimal vector of weights in the search spaces of the local models to construct the global shared model and then is subsequently transmitted to the local nodes to improve the prediction quality at the prosumer site while for handling non-IID data K-Means was used for clustering prosumers with similar scale of energy data. The evaluation results on prosumers energy data have shown that FedWOA can effectively enhance the accuracy of energy prediction models accuracy by 25% for MSE and 16% for MAE compared to FedAVG while demonstrating good convergence and reduced loss.

研究の動機と目的

• プロシューマーのエネルギー・データ上で分散型学習を可能にすることで、再生可能エネルギー予測におけるプライバシー懸念を軽減すること。
• フェデレーテッドラーニングにおけるデータの非IID性と高次元パラメータが引き起こすグローバルモデルの精度低下を是正すること。
• プロシューマーのエネルギー・システムに一般的に見られる非IIDデータ環境下での予測性能を向上させること。
• メタヒューリスティック最適化を用いてグローバルモデル重みを最適化する、耐障害性の高い集約メカニズムを開発すること。
• 実際のプロシューマーのエネルギー・データセットを用いて、収束性と損失の低減が図られたモデルの有効性を検証すること。

提案手法

• FedWOAは、分散型プロシューマーのエネルギー・データ上で局所的なLSTMネットワークを学習するフェデレーテッドラーニングフレームワークを採用する。
• クジラ最適化アルゴリズム（WOA）を用いて、局所モデル重みの範囲で最適なグローバルモデル重みベクトルを計算する。
• WOAは、マッコリアザラシクジラの社会的行動を模倣し、反復的にグローバルモデル集約プロセスを改善する。
• 非IID問題を軽減するために、類似したエネルギー発電パターンを持つプロシューマーをグループ化する目的でK-Meansクラスタリングを適用する。
• 最適化されたグローバルモデルは、その後、局所ノードに送信され、局所的な予測品質が向上する。
• 収束性と損失が、ラウンドごとに監視され、安定性と性能向上が保証される。

実験結果

リサーチクエスチョン

• RQ1 WOAのようなメタヒューリスティック最適化アプローチは、再生可能エネルギー予測のフェデレーテッドラーニングにおけるグローバルモデル集約を改善できるか？
• RQ2 非IIDデータ条件下で、FedWOAはFedAVGと比較して予測精度においてどのように性能を発揮するか？
• RQ3 プロシューマーのK-Meansクラスタリングは、フェデレーテッドエネルギー予測における収束性の向上と誤差低減にどの程度寄与するか？
• RQ4 WOAの統合は、フェデレーテッドラーニングパイプラインにおける収束速度の向上とより低い訓練損失をもたらすか？
• RQ5 FedWOAは、分散型プロシューマーのエネルギー・システムにおいて、データプライバシーを保持したまま高い精度を維持できるか？

主な発見

• FedWOAは、プロシューマーのエネルギー予測タスクにおいて、FedAVGと比較して平均二乗誤差（MSE）を25%低減した。
• FedWOAは、FedAVGと比較して平均絶対誤差（MAE）を16%改善し、より高い予測のロバスト性を示した。
• 高次元かつ非IIDデータであっても、訓練ラウンドを通じて安定した収束を示した。
• K-Meansクラスタリングの統合により、類似したエネルギー発電プロファイルを持つプロシューマーをグループ化することで、性能が顕著に向上した。
• WOAに基づく集約メカニズムは、最適なグローバルモデル重みを効果的に特定し、標準的なFedAVGの平均化を上回る性能を発揮した。
• 提案されたフレームワークは、分散型再生可能エネルギーシステムにおいて、データプライバシーを保持したまま、優れた予測精度を実現した。