[논문 리뷰] Confidence Estimation Transformer for Long-term Renewable Energy Forecasting in Reinforcement Learning-based Power Grid Dispatching

Xinhang Li, Zihao Li외 8명|arXiv (Cornell University)|2022. 04. 10.

Energy Load and Power Forecasting인용 수 5

한 줄 요약

이 논문은 장기적인 재생 가능 에너지 예측을 위한 신뢰도 추정 향상된 트랜스포머와 강화학습 기반 전력망 디스패치를 통합한 새로운 프레임워크인 Conformer-RLpatching을 제안한다. 장기적인 출력 예측과 불확실성 추정, 디스패치 필요성 메커니즘을 통해 디스패치 안정성과 안전성을 향상시켜, 동일 조건에서 State Grid 경연 대회에서 우수 팀보다 높은 보안 점수(25.8% 향상)를 기록하고, 우수한 성능을 달성한다.

ABSTRACT

The expansion of renewable energy could help realizing the goals of peaking carbon dioxide emissions and carbon neutralization. Some existing grid dispatching methods integrating short-term renewable energy prediction and reinforcement learning (RL) have been proved to alleviate the adverse impact of energy fluctuations risk. However, these methods omit the long-term output prediction, which leads to stability and security problems on the optimal power flow. This paper proposes a confidence estimation Transformer for long-term renewable energy forecasting in reinforcement learning-based power grid dispatching (Conformer-RLpatching). Conformer-RLpatching predicts long-term active output of each renewable energy generator with an enhanced Transformer to boost the performance of hybrid energy grid dispatching. Furthermore, a confidence estimation method is proposed to reduce the prediction error of renewable energy. Meanwhile, a dispatching necessity evaluation mechanism is put forward to decide whether the active output of a generator needs to be adjusted. Experiments carried out on the SG-126 power grid simulator show that Conformer-RLpatching achieves great improvement over the second best algorithm DDPG in security score by 25.8% and achieves a better total reward compared with the golden medal team in the power grid dispatching competition sponsored by State Grid Corporation of China under the same simulation environment. Codes are outsourced in https://github.com/buptlxh/Conformer-RLpatching.

연구 동기 및 목표

• 기존 강화학습 기반 전력망 디스패치 시스템에서 장기적인 재생 가능 에너지 예측의 부족을 해결한다.
• 장기 예측을 최적 전력 흐름 결정에 통합하여 그리드 안정성과 안전성을 향상시킨다.
• 재생 가능 에너지 출력에 대한 신뢰도 추정 메커니즘을 통해 예측 정확도와 신뢰성을 향상시킨다.
• 불필요한 제어 조치를 줄이고 효율성을 향상시키기 위해 디스패치 필요성 평가 메커니즘을 도입한다.
• 안전성, 경제성, 재생 가능 에너지 활용도를 균형 잡는 다목적 전력망 디스패치에서 뛰어난 성능을 달성한다.

제안 방법

• 재생 가능 에너지 발전 데이터의 장기적 시간적 의존성을 모델링하기 위해 향상된 트랜스포머 아키텍처를 활용한다.
• 예측 불확실성을 정량화하는 신뢰도 추정 모듈을 통합하여 변동성이 큰 조건에서도 강건성을 향상시킨다.
• 장기 예측 기반으로 최적 전력 흐름 및 디스패치 전략을 최적화하기 위해 DDPG 기반 강화학습 에이전트를 사용한다.
• 발전기 출력 조정이 필요한지 여부를 판단하는 디스패치 필요성 평가 메커니즘을 구현한다.
• 보안, 경제적 효율성, 재생 가능 에너지 활용도를 균형 잡기 위해 SG-126 전력망 시뮬레이터에서 엔드 투 엔드 시스템을 훈련시킨다.
• 예측 및 의사결정 모듈을 통합한 유일한 프레임워크인 Conformer-RLpatching를 구성하여 실시간이고 적응 가능한 디스패치를 가능하게 한다.

실험 결과

연구 질문

• RQ1 장기적인 재생 가능 에너지 예측은 강화학습 기반 전력망 디스패치의 안정성과 안전성에 향상시키는가?
• RQ2 장기 예측에서의 신뢰도 추정은 디스패치 결정의 신뢰성에 어떤 영향을 미치는가?
• RQ3 디스패치 필요성 평가 메커니즘이 시스템 성능을 유지하면서 얼마나 많은 불필요한 제어 조치를 줄이는가?
• RQ4 실제 전력망 시뮬레이션에서 Conformer-RLpatching은 보안 점수와 총 보상 측면에서 최첨단 기준 대비 어떻게 비교되는가?
• RQ5 장기 예측과 딥 강화학습의 통합은 하이브리드 에너지 시스템에서 뛰어난 다목적 최적화를 달성할 수 있는가?

주요 결과

• Conformer-RLpatching는 SG-126 전력망 시뮬레이터에서 두 번째로 우수한 알고리즘인 DDPG 대비 보안 점수를 25.8% 향상시켰다.
• 중국국가그리드사 후원 전력망 디스패치 경연에서 금메달 팀을 초월하여 동일 조건에서 더 높은 총 보상을 기록했다.
• 신뢰도 추정 모듈은 예측 오차를 효과적으로 줄여 고도로 변동성이 큰 환경에서 디스패치 결정의 강건성을 향상시켰다.
• 디스패치 필요성 평가 메커니즘이 불필요한 제어 조치를 크게 줄여 운영 효율성을 향상시켰다.
• 향상된 트랜스포머 기반 예측 컴포넌트는 시험 환경에서 기존 모델 대비 뛰어난 장기 예측 정확도를 보였다.
• 예측 및 강화학습의 엔드 투 엔드 통합은 안전성, 경제성, 재생 가능 에너지 활용도 간의 보다 우수한 트레이드오���을 가능하게 하였다.