[論文レビュー] A Fair and Efficient Hybrid Federated Learning Framework based on XGBoost for Distributed Power Prediction

Haizhou Liu, Xuan Zhang+2 more|arXiv (Cornell University)|Jan 8, 2022

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

本稿では、スマートグリッドにおける分散型電力予測のため、XGBoostを用いた水平および垂直フェデレーテッドラーニングを統合したハイブリッドフェデレーテッドラーニングフレームワークを提案する。木構造モデルと動的タスク割り当てスキームを統合することで、予測精度、公平性、計算効率が向上し、固定割り当てと比較して学習時間を42%削減し、公平性指数は0.609～0.739を達成した。

ABSTRACT

In a modern power system, real-time data on power generation/consumption and its relevant features are stored in various distributed parties, including household meters, transformer stations and external organizations. To fully exploit the underlying patterns of these distributed data for accurate power prediction, federated learning is needed as a collaborative but privacy-preserving training scheme. However, current federated learning frameworks are polarized towards addressing either the horizontal or vertical separation of data, and tend to overlook the case where both are present. Furthermore, in mainstream horizontal federated learning frameworks, only artificial neural networks are employed to learn the data patterns, which are considered less accurate and interpretable compared to tree-based models on tabular datasets. To this end, we propose a hybrid federated learning framework based on XGBoost, for distributed power prediction from real-time external features. In addition to introducing boosted trees to improve accuracy and interpretability, we combine horizontal and vertical federated learning, to address the scenario where features are scattered in local heterogeneous parties and samples are scattered in various local districts. Moreover, we design a dynamic task allocation scheme such that each party gets a fair share of information, and the computing power of each party can be fully leveraged to boost training efficiency. A follow-up case study is presented to justify the necessity of adopting the proposed framework. The advantages of the proposed framework in fairness, efficiency and accuracy performance are also confirmed.

研究の動機と目的

• 電力システムにおいて、水平および垂直のデータ分割を同時に処理できるフェデレーテッドラーニングフレームワークの不足を補うこと。
• 表形式の電力データに対してフェデレーテッドラーニングにニューラルネットワークの代わりにXGBoostを採用することで、予測精度とモデルの解釈可能性を向上させること。
• 各参加者の処理能力に基づいて計算負荷を公平に分配する動的タスク割り当てスキームを設計すること。
• 異種のデータソースを有する都市部の実際の電力予測シナリオにおいて、フレームワークの性能を評価すること。
• 従来の水平および垂直フェデレーテッドラーニングと比較して、公平性、効率性、正確性の面で本フレームワークの優位性を示すこと。

提案手法

• フレームワークは、共有の特徴を持つ地域間（水平）と、共有のサンプルだが補完的特徴を持つ複数の参加者間（垂直）のフェデレーテッドラーニングを統合する。
• XGBoostをベースモデルとして採用することで、表形式データセットにおける高い精度と解釈可能性を活用し、フェデレーテッド環境下でのニューラルネットワークの限界を克服する。
• 動的タスク割り当てスキームにより、各地域の計算速度に基づいて計算タスク（勾配集約およびノード分割）を割り当て、学習効率を最適化する。
• 中央サーバーは、すべての参加者からのモデル更新を集約するが、安全な集約プロトコルによりデータプライバシーを保持する。
• フレームワークは特徴およびサンプルの非同一性をサポートし、複数の地域および外部データ提供者間での協働を可能にする。
• 2段階の学習プロセスを採用する：まず、各参加者のデータ上で局所的なXGBoostモデルを学習し、次に、プライバシーを保ちつつ安全にモデル更新を集約する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドフェデレーテッドラーニングフレームワークは、電力システムデータにおける水平および垂直のデータ分割を効果的に処理できるか？
• RQ2 ニューラルネットワークの代わりにXGBoostを使用することで、フェデレーテッド電力予測における予測精度と解釈可能性にどのような影響を与えるか？
• RQ3 動的タスク割り当ては、計算能力にばらつきのあるフェデレーテッドラーニング環境において、学習効率と公平性をどの程度向上させるか？
• RQ4 本提案フレームワークは、純粋な水平または垂直フェデレーテッドラーニングと比較して、実世界の電力予測タスクにおいてどのように優れているか？
• RQ5 計算能力の非均一性が生じる状況下で、動的タスク割り当てにおける公平性と効率性のトレードオフはどのようなものか？

主な発見

• ハイブリッドフェデレーテッドラーニングフレームワークは、全テスト手法の中で最高の予測精度を達成し、特に旧正月およびパンデミック期間中のDistrict 10において、実測値とよく一致する電力曲線を予測した。
• 固定割り当て方式と比較して、学習時間を42%削減し、9,017秒で学習を完了した（推定時間：16,237秒）。
• 動的タスク割り当てスキームの公平性指数は0.609～0.739の範囲にあり、固定割り当て方式（0.1）と比較して顕著に高い水準を示しており、公平性の向上が確認された。
• 計算能力が優れた地域はより多くのノード分割タスクが割り当てられ、遅延の高い地域（例：Districts 9および10）はノード分割から除外され、ボトルネックを回避した。
• 動的割り当てスキームでは、勾配集約時間は最も遅い参加者の時間と一致し、最適な負荷分散が達成された。
• 純粋な水平フェデレーテッドラーニングは、中国移動の人口移動データなどの外部特徴が欠落していたため、正確な予測に失敗したのに対し、本フレームワークは優れた性能を示した。