[論文レビュー] FedTrees: A Novel Computation-Communication Efficient Federated Learning Framework Investigated in Smart Grids

Mohammad Al-Quraan, Ahsan Khan+4 more|arXiv (Cornell University)|Sep 30, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

FedTreesは、スマートグリッドにおけるエネルギー需要予測のため、LightGBMを用いた計算および通信効率の高いフェデレーテッドラーニングフレームワークを提案する。アンサンブル学習とデルタベースの早期停止メカニズムを活用することで、FedAvgと同等の精度を達成しながら、計算時間は2%、通信ラウンド数は13%にまで削減し、リソース効率を顕著に向上させた。

ABSTRACT

Smart energy performance monitoring and optimisation at the supplier and consumer levels is essential to realising smart cities. In order to implement a more sustainable energy management plan, it is crucial to conduct a better energy forecast. The next-generation smart meters can also be used to measure, record, and report energy consumption data, which can be used to train machine learning (ML) models for predicting energy needs. However, sharing fine-grained energy data and performing centralised learning may compromise users' privacy and leave them vulnerable to several attacks. This study addresses this issue by utilising federated learning (FL), an emerging technique that performs ML model training at the user level, where data resides. We introduce FedTrees, a new, lightweight FL framework that benefits from the outstanding features of ensemble learning. Furthermore, we developed a delta-based early stopping algorithm to monitor FL training and stop it when it does not need to continue. The simulation results demonstrate that FedTrees outperforms the most popular federated averaging (FedAvg) framework and the baseline Persistence model for providing accurate energy forecasting patterns while taking only 2% of the computation time and 13% of the communication rounds compared to FedAvg, saving considerable amounts of computation and communication resources.

研究の動機と目的

• 中央集権的なデータ収集を避けることで、スマートグリッドにおけるエネルギー予測のプライバシーおよびスケーラビリティの課題に対処すること。
• LSTMのようなディープラーニングモデルがフェデレーテッドラーニングで引き起こす高い計算コストおよび通信コストを低減すること。
• スマートグリッドの変電所レベルでの導入に適した、軽量で効率的なフェデレーテッドラーニングフレームワークの開発。
• 性能向上の見込みがなくなった際に学習を停止する適応的早期停止メカニズムを用いて、学習効率を向上させること。
• 短期的なエネルギー需要予測において、FedAvgおよびベースラインモデルと比較してフレームワークのパフォーマンスを評価すること。

提案手法

• FedTreesは、フェデレーテッドラーニングの設定において、クライアント側モデルとして勾配ブースティング決定木アルゴリズムであるLightGBM (LGBM) を採用することで、高速な学習と低メモリ使用量を実現する。
• フレームワークは、通信ラウンドごとのバリデーションロスの変化をモニタリングするデルタベースの早期停止アルゴリズムを用い、改善量がしきい値未満に下がった際に学習を終了する。
• モデルが収束した時点で学習を停止することで、不要なイテレーションを回避し、通信ラウンドを動的に削減する。
• グローバルモデルはFedAvg集約を用いて更新されるが、収束に必要な最小限のラウンド数に限定して学習が実行される。
• 計算負荷のさらなる低減と学習効率の向上を図るため、上位4つの関連性の高い特徴量に焦点を当てる特徴選択が実施される。
• システムはクロスシロ型フェデレーテッドラーニング環境で評価され、変電所をクライアントとして想定することで、スケーラブルかつプライバシー保護型のエネルギー予測が可能となる。

実験結果

リサーチクエスチョン

• RQ1 LSTMのようなディープラーニングモデルと比較して、LightGBMのような軽量アンサンブルモデルが、計算コストおよび通信コストを低減しながらも、フェデレーテッドエネルギー予測で優れた性能を発揮できるか。
• RQ2 デルタベースの早期停止メカニズムは、スマートグリッドのフェデレーテッドラーニングにおいて、予測精度を損なわずに訓練ラウンド数を削減できるか。
• RQ3 特徴選択は、フェデレーテッドエネルギー予測モデルのパフォーマンスおよび効率にどのような影響を与えるか。
• RQ4 予測精度、通信効率、計算時間の観点から、FedTreesはFedAvgおよびPersistenceベースラインと比較してどのように差をつけるか。
• RQ5 スマートグリッド応用において、変電所レベルでのフェデレーテッドラーニングは、クライアントレベルのフェデレーテッドラーニングよりもスケーラビリティおよびプライバシー保護の観点で優れているか。

主な発見

• FedTreesは平均絶対誤差（MAE）0.0173および平均絶対パcent誤差（MAPE）3.69%を達成し、Persistenceモデルを上回り、FedAvgと同等の精度を実現した。
• FedTreesはわずか65回の通信ラウンドで実行され、FedAvgが要する491ラウンドの13%にとどまり、通信オーバーヘッドを顕著に低減した。
• FedTreesの計算時間は26.2秒であり、FedAvgが要する1356秒のわずか2%にまで削減され、極めて高い効率性を示した。
• 上位4つの特徴量のみを用いた場合、通信ラウンドは50回に、計算時間は8.8秒に削減されたが、MAPEは3.54%を維持し、高い精度を保った。
• デルタベースの早期停止アルゴリズムは収束を早期に検知することで訓練ラウンド数を効果的に削減した。LGBMにおける最適な設定は、delta = 0.00001およびwindow size = 10であった。
• 特徴選択によりFedTreesの性能が向上した一方で、FedAvgの性能はわずかに低下した。これは、FedTreesが入力次元数の変化に対してより頑健であることを示している。