[논문 리뷰] FedWOA: A Federated Learning Model that uses the Whale Optimization Algorithm for Renewable Energy Prediction

Viorica Rozina Chifu, Tudor Cioara외 3명|arXiv (Cornell University)|2023. 09. 19.

Smart Grid Energy ManagementEngineering인용 수 3

한 줄 요약

이 논문은 재생 가능 에너지 예측에서 글로벌 모델 앙상블을 향상시키기 위해 고블레트 최적화 알고리즘(WOA)을 통합한 페더레이티드 러닝 모델인 FedWOA를 제안한다. 비독립 동일 분포(non-IID) 프로슈머 데이터를 처리하기 위해 국소 모델 가중치를 최적화하고 K-평균 군집화를 적용함으로써 FedWOA는 FedAVG 대비 평균 제곱 오차(MSE)를 25% 낮추고 평균 절대 오차(MAE)를 16% 낮추어 정확도와 수렴성 향상을 입증한다.

ABSTRACT

Privacy is important when dealing with sensitive personal information in machine learning models, which require large data sets for training. In the energy field, access to household prosumer energy data is crucial for energy predictions to support energy grid management and large-scale adoption of renewables however citizens are often hesitant to grant access to cloud-based machine learning models. Federated learning has been proposed as a solution to privacy challenges however report issues in generating the global prediction model due to data heterogeneity, variations in generation patterns, and the high number of parameters leading to even lower prediction accuracy. This paper addresses these challenges by introducing FedWOA a novel federated learning model that employs the Whale Optimization Algorithm to aggregate global prediction models from the weights of local LTSM neural network models trained on prosumer energy data. The proposed solution identifies the optimal vector of weights in the search spaces of the local models to construct the global shared model and then is subsequently transmitted to the local nodes to improve the prediction quality at the prosumer site while for handling non-IID data K-Means was used for clustering prosumers with similar scale of energy data. The evaluation results on prosumers energy data have shown that FedWOA can effectively enhance the accuracy of energy prediction models accuracy by 25% for MSE and 16% for MAE compared to FedAVG while demonstrating good convergence and reduced loss.

연구 동기 및 목표

• 프로슈머 에너지 데이터의 분산 학습을 가능하게 하여 개인정보 보호 문제를 해결하기 위해.
• 페더레이티드 러닝에서 데이터 이질성과 고차원 파라미터로 인한 글로벌 모델 정확도 저하 문제를 해결하기 위해.
• 프로슈머 에너지 시스템에서 흔한 비독립 동일 분포(non-IID) 데이터 시나리오에서의 예측 성능 향상을 위해.
• 메타휴리스틱 최적화를 사용하여 글로벌 모델 가중치를 최적화하는 강력한 앙상블 메커니즘을 개발하기 위해.
• 실제 프로슈머 에너지 데이터셋을 기반으로 모델의 효과성을 검증하여 수렴성 향상과 손실 감소를 달성하기 위해.

제안 방법

• FedWOA는 국소 장기 단기 기억(LSTM) 네트워크를 분산된 프로슈머 에너지 데이터에서 학습시키는 페더레이티드 러닝 프레임워크를 사용한다.
• 고블레트 최적화 알고리즘(WOA)은 국소 모델 가중치를 기반으로 최적의 글로벌 모델 가중치 벡터를 계산하기 위해 사용된다.
• WOA는 고블레트 바다거북의 사회적 행동을 시뮬레이션하여 반복적으로 글로벌 모델 앙상블 과정을 향상시킨다.
• K-평균 군집화는 유사한 에너지 생성 패턴을 보이는 프로슈머를 그룹화하여 데이터의 비독립 동일 분포(non-IID) 문제를 완화하기 위해 적용된다.
• 최적화된 글로벌 모델은 다시 국소 노드로 전송되어 추론 성능을 향상시킨다.
• 안정성과 성능 향상을 보장하기 위해 수렴성과 손실을 라운드 단위로 모니터링한다.

실험 결과

연구 질문

• RQ1 WOA와 같은 메타휴리스틱 최적화 접근 방식이 재생 가능 에너지 예측을 위한 페더레이티드 러닝에서 글로벌 모델 앙상블을 향상시킬 수 있는가?
• RQ2 비독립 동일 분포(non-IID) 데이터 조건 하에서 FedWOA는 FedAVG 대비 예측 정확도에서 어떤 성능을 보이는가?
• RQ3 프로슈머를 K-평균 군집화하는 것은 페더레이티드 에너지 예측에서 모델 수렴성 향상과 오차 감소에 얼마나 기여하는가?
• RQ4 WOA 통합은 페더레이티드 러닝 파이프라인에서 더 빠른 수렴성과 낮은 학습 손실을 이끌어내는가?
• RQ5 FedWOA는 분산된 프로슈머 에너지 시스템에서 데이터 프라이버시를 유지하면서도 높은 정확도를 유지를 할 수 있는가?

주요 결과

• FedWOA는 프로슈머 에너지 예측 작업에서 FedAVG 대비 평균 제곱 오차(MSE)를 25% 감소시켰다.
• FedWOA는 평균 절대 오차(MAE)에서 FedAVG 대비 16% 향상된 성능을 기록하여 더 높은 예측 강건성을 나타냈다.
• 고차원 및 비독립 동일 분포(non-IID) 데이터 조건에서도 안정적인 수렴을 보였다.
• K-평균 군집화 통합으로 인해 프로슈머의 유사한 에너지 생성 프로파일을 가진 그룹을 형성함으로써 성능 향상이 크게 이루어졌다.
• WOA 기반의 앙성 메커니즘은 표준 FedAVG 평균화 방식을 능가하는 최적의 글로벌 모델 가중치를 효과적으로 식별했다.
• 제안된 프레임워크는 분산된 재생 가능 에너지 시스템에서 데이터 프라이버시를 유지하면서도 뛰어난 예측 정확도를 제공한다.