[논문 리뷰] Wind Power Forecasting Considering Data Privacy Protection: A Federated Deep Reinforcement Learning Approach

Yang Li, Ruinong Wang외 3명|arXiv (Cornell University)|2022. 11. 02.

Energy Load and Power Forecasting인용 수 10

한 줄 요약

이 논문은 딥 디터민리스틱 포olic 그레디언트(DDPG)와 피어드 러닝을 결합하여 탈중앙화되고 정확한 초단기 바람 풍력 예측을 가능하게 하는 프라이버시 보장형 풍력 예측 프레임워크인 연합 딥 강화학습(FedDRL)을 제안한다. 원시 데이터 대신 모델 파라미터만 공유함으로써 FedDRL은 통신 부하를 크게 줄이고 데이터 프라이버시 위험을 제거하면서도 중심집중식 방법과 비교해 유사한 예측 정확도를 달성한다.

ABSTRACT

In a modern power system with an increasing proportion of renewable energy, wind power prediction is crucial to the arrangement of power grid dispatching plans due to the volatility of wind power. However, traditional centralized forecasting methods raise concerns regarding data privacy-preserving and data islands problem. To handle the data privacy and openness, we propose a forecasting scheme that combines federated learning and deep reinforcement learning (DRL) for ultra-short-term wind power forecasting, called federated deep reinforcement learning (FedDRL). Firstly, this paper uses the deep deterministic policy gradient (DDPG) algorithm as the basic forecasting model to improve prediction accuracy. Secondly, we integrate the DDPG forecasting model into the framework of federated learning. The designed FedDRL can obtain an accurate prediction model in a decentralized way by sharing model parameters instead of sharing private data which can avoid sensitive privacy issues. The simulation results show that the proposed FedDRL outperforms the traditional prediction methods in terms of forecasting accuracy. More importantly, while ensuring the forecasting performance, FedDRL can effectively protect the data privacy and relieve the communication pressure compared with the traditional centralized forecasting method. In addition, a simulation with different federated learning parameters is conducted to confirm the robustness of the proposed scheme.

연구 동기 및 목표

• 다양한 이해관계자가 참여하는 여러 풍력 발전소 간의 데이터 프라이버시 및 데이터 아일랜드 문제를 해결한다.
• 딥 강화학습을 활용해 초단기 풍력 예측의 정확도를 향상시킨다.
• 이해관계자 간에 민감한 원시 풍력 데이터를 공유하지 않고도 탈중앙화된 모델 학습을 가능하게 한다.
• 伝통적인 중심집중식 예측 시스템에 비해 통신 오버헤드를 감소시킨다.
• 다양한 연합 러닝 구성 조건 하에서 프레임워크의 강건성과 확장성을 확보한다.

제안 방법

• 풍력 예측을 위한 정책 및 가치 함수의 엔드 투 엔드 학습을 가능하게 하기 위해 핵심 예측 모델로 딥 디터민리스틱 포리시 그레디언트(DDPG) 알고리즘을 채택한다.
• 로컬 모델을 각 풍력 발전소의 비공개 데이터에서 학습시키고, 중앙 서버에 업데이트된 모델 파라미터만 공유하는 연합 러닝 프레임워크에 DDPG를 통합한다.
• 중앙 파rameter 서버를 통해 로컬 모델 업데이트를 집계하고 글로벌 모델을 업데이트함으로써 원시 데이터 폭 lộ 없이 수렴을 보장한다.
• 학습 효율성과 통신 부하를 균형 잡기 위해 구성 가능한 동기화 간격을 가진 동기식 연합 학습 프로토콜을 구현한다.
• 다양한 풍력 발전소 조건에서의 강건성과 일반화 능력을 향상시키기 위해 DDPG 프레임워크에 불확실성 모델링을 적용한다.
• 딥 강화학습 환경에서의 학습 안정성을 확보하기 위해 클라이언트 측 로컬 학습 루프에 경험 재생과 타겟 네트워크를 구현한다.

실험 결과

연구 질문

• RQ1 연합 딥 강화학습 프레임워크는 데이터 프라이버시를 보장하면서도 중심집중식 방법과 유사한 풍력 예측 정확도를 달성할 수 있는가?
• RQ2 기존 중심집중식 데이터 수집 방식에 비해 제안된 FedDRL 프레임워크는 어떻게 통신 오버헤드를 줄이는가?
• RQ3 참여율 및 동기화 간격과 같은 다양한 연합 러닝 파라미터 설정 조건 하에서 FedDRL은 예측 정확도와 강건성을 어느 정도 유지하는가?
• RQ4 스태이크홀더 간의 데이터 공유 없이도 FedDRL은 풍력 예측의 데이터 아일랜드 문제를 효과적으로 완화할 수 있는가?
• RQ5 ARIMA, BPNN 및 중심집중식 DDPG와 비교했을 때 FedDRL의 예측 오차 지표(NMAE 및 NRMSE)는 어떻게 성능을 내는가?

주요 결과

• FedDRL은 전통적인 예측 방법 대비 NMAE를 최소 29.25% 감소시키고 NRMSE를 최소 46.47% 감소시켜 뛰어난 예측 정확도를 입증한다.
• FedDRL의 예측 성능은 중심집중식 DDPG와 유사하며, 예측된 풍력 출력량과 확률 밀도 분포에 있어 최소한의 차이를 보인다.
• FedDRL은 중심집중식 방법 대비 최소 88.34%의 네트워크 부하 절감 효과를 달성하며, 더 긴 동기화 간격에서는 이 값이 97.08%까지 증가한다.
• 다양한 풍력 발전소에서 안정적인 성능을 유지하며, NMAE 값은 0.0207에서 0.0433 사이로 변동하여 일관된 정확도를 보인다.
• 참여율 및 동기화 간격을 다양하게 설정한 실험을 통해 FedDRL이 다양한 연합 러닝 구성 조건 하에서도 강건함을 입증한다.
• 각 풍력 발전소에 원시 풍력 데이터를 국소화함으로써 데이터 泄露를 방지하여 프라이버시 및 데이터 소유권 문제를 효과적으로 해결한다.