[논문 리뷰] FedTrees: A Novel Computation-Communication Efficient Federated Learning Framework Investigated in Smart Grids

Mohammad Al-Quraan, Ahsan Khan외 4명|arXiv (Cornell University)|2022. 09. 30.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FedTrees는 스마트 그라이드에서 에너지 수요 예측을 위한 경량화된 연산 및 통신 효율성 있는 분산 학습 프레임워크를 제안한다. LightGBM를 활용하여 앙상블 학습과 델타 기반 조기 정지 메커니즘을 적용함으로써, FedAvg와 유사한 정확도를 달성하면서도 연산 시간은 2%, 통신 라운드 수는 13%로 줄여 자원 효율성을 크게 향상시킨다.

ABSTRACT

Smart energy performance monitoring and optimisation at the supplier and consumer levels is essential to realising smart cities. In order to implement a more sustainable energy management plan, it is crucial to conduct a better energy forecast. The next-generation smart meters can also be used to measure, record, and report energy consumption data, which can be used to train machine learning (ML) models for predicting energy needs. However, sharing fine-grained energy data and performing centralised learning may compromise users' privacy and leave them vulnerable to several attacks. This study addresses this issue by utilising federated learning (FL), an emerging technique that performs ML model training at the user level, where data resides. We introduce FedTrees, a new, lightweight FL framework that benefits from the outstanding features of ensemble learning. Furthermore, we developed a delta-based early stopping algorithm to monitor FL training and stop it when it does not need to continue. The simulation results demonstrate that FedTrees outperforms the most popular federated averaging (FedAvg) framework and the baseline Persistence model for providing accurate energy forecasting patterns while taking only 2% of the computation time and 13% of the communication rounds compared to FedAvg, saving considerable amounts of computation and communication resources.

연구 동기 및 목표

• 중앙 집중식 데이터 수집을 피함으로써 스마트 그라이드 에너지 예측의 기밀성과 확장성 문제를 해결하기 위해.
• LSTM와 같은 딥러닝 모델이 분산 학습에서 유발하는 높은 연산 및 통신 비용을 줄이기 위해.
• 스마트 그라이드의 변전소 수준에서의 구현에 적합한 경량이고 효율적인 분산 학습 프레임워크를 개발하기 위해.
• 성능 향상이 더 이상 없을 경우 학습을 중단하는 적응형 조기 정지 메커니즘을 통해 학습 효율성을 향상시키기 위해.
• 단기 에너지 수요 예측 분야에서 FedAvg 및 기준 모델과의 성능을 평가하기 위해.

제안 방법

• FedTrees는 분산 학습 환경에서 클라이언트 측 모델로 경량화된 기울기 부스팅 결정 트리 알고리즘인 LightGBM(LGBM)을 사용하여 빠른 학습과 낮은 메모리 사용을 보장한다.
• 이 프레임워크는 통신 라운드 간 검증 손실의 변화를 모니터링하는 델타 기반 조기 정지 알고리즘을 사용하며, 개선 폭이 임계값 이하로 떨어지면 학습을 종료한다.
• 모델 수렴 시점에 도달함으로써 통신 라운드를 동적으로 줄이며, 불필요한 반복을 방지한다.
• 글로벌 모델은 FedAvg 집계 방식을 통해 업데이트되지만, 수렴에 필요한 최소한의 라운드 수만을 활용하여 학습을 제한한다.
• 추가로 최상위 4개의 관련 특성에 집중하기 위해 특성 선택 기법을 적용하여 연산 부담을 줄이고 학습 효율성을 향상시킨다.
• 시스템은 클라이언트가 변전소로 구성된 크로스실러 FL 환경에서 평가되었으며, 확장성 있고 기밀성을 보장하는 에너지 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 LSTM와 같은 딥러닝 모델에 비해 연산 및 통신 비용을 줄일 수 있는 경량 앙상블 모델인 LightGBM가 분산 에너지 예측에서 성능을 뛰어넘을 수 있는가?
• RQ2 델타 기반 조기 정지 메커니즘이 스마트 그라이드 분산 학습에서 예측 정확도를 훼손하지 않고도 학습 라운드 수를 줄이는 데 얼마나 효과적인가?
• RQ3 특성 선택이 분산 에너지 예측 모델의 성능과 효율성에 미치는 영향은 어떠한가?
• RQ4 FedTrees는 예측 정확도, 통신 효율성, 연산 시간 측면에서 FedAvg 및 Persistence 기준 모델과 비교해 어떻게 성과를 내는가?
• RQ5 스마트 그라이드 응용 분야에서 변전소 수준의 분산 학습이 클라이언트 수준의 분산 학습보다 더 뛰어난 확장성과 기밀성 보장을 달성할 수 있는가?

주요 결과

• FedTrees는 평균 절대 오차(MAE) 0.0173과 평균 절대 퍼센티지 오차(MAPE) 3.69%를 기록하여 Persistence 모델을 능가하고 FedAvg와 정확도 면에서 유사한 성능을 보였다.
• FedTrees는 단지 65회의 통신 라운드를 요구하여 FedAvg가 필요로 하는 491회의 13%에 불과했으며, 이는 통신 오버헤드를 크게 줄였음을 의미한다.
• FedTrees의 연산 시간은 26.2초로, FedAvg가 소요한 1356초의 2%에 불과하여 뛰어난 효율성을 입증했다.
• 상위 4개의 특성만을 사용할 경우, FedTrees는 통신 라운드를 50회로 줄이고 연산 시간을 8.8초로 단축하면서도 MAPE는 3.54%를 유지했다.
• 델타 기반 조기 정지 알고리즘이 수렴을 조기에 탐지함으로써 학습 라운드를 효과적으로 줄였으며, LGBM에 최적의 설정은 delta = 0.00001, 윈도우 크기 = 10로 도출되었다.
• 특성 선택을 통해 FedTrees는 성능 향상을 보였고, 반면 FedAvg의 성능는 약간 저하되어 FedTrees의 입력 차원에 대한 강건성을 입증했다.