[논문 리뷰] Optimal Energy System Scheduling Using A Constraint-Aware Reinforcement Learning Algorithm

Shengren Hou, Pedro P. Vergara외 2명|arXiv (Cornell University)|2023. 05. 09.

Smart Grid Energy Management인용 수 5

한 줄 요약

이 논문은 온라인 스케줄링 중에 하드 운영 제약 조건(예: 전력 수요 균형 및 램프 제약)을 강제하기 위해 훈련된 Q-네트워크를 혼합정수계획법(MIP)으로 공식화하는 제약 조건 인지 기반 딥 강화학습 알고리즘인 MIP-DQN을 제안한다. 이 방법은 재생 가능 에너지가 풍부한 분포션 네트워크에서 타당성 있고 거의 최적의 에너지 시스템 배분을 보장하며, 최적 해 대비 13.7%의 오차를 기록하면서도 예측되지 않은 테스트 일자에도 엄격하게 제약 조건을 준수한다.

ABSTRACT

The massive integration of renewable-based distributed energy resources (DERs) inherently increases the energy system's complexity, especially when it comes to defining its operational schedule. Deep reinforcement learning (DRL) algorithms arise as a promising solution due to their data-driven and model-free features. However, current DRL algorithms fail to enforce rigorous operational constraints (e.g., power balance, ramping up or down constraints) limiting their implementation in real systems. To overcome this, in this paper, a DRL algorithm (namely MIP-DQN) is proposed, capable of extit{strictly} enforcing all operational constraints in the action space, ensuring the feasibility of the defined schedule in real-time operation. This is done by leveraging recent optimization advances for deep neural networks (DNNs) that allow their representation as a MIP formulation, enabling further consideration of any action space constraints. Comprehensive numerical simulations show that the proposed algorithm outperforms existing state-of-the-art DRL algorithms, obtaining a lower error when compared with the optimal global solution (upper boundary) obtained after solving a mathematical programming formulation with perfect forecast information; while strictly enforcing all operational constraints (even in unseen test days).

연구 동기 및 목표

• 에너지 시스템 스케줄링을 위한 딥 강화학습(DRL)에서 제약 조건 이행의 부족을 해결하기 위해.
• 전력 수요 균형 및 램프 제약 등 하드 제약 조건 하에서 운영 스케줄의 타당성을 보장하는 DRL 알고리즘을 개발하기 위해.
• 고도로 재생 가능 에너지가 통합된 환경에서 실시간, 데이터 기반의 분산 에너지 자원(DERs) 스케줄링을 가능하게 하기 위해.
• 모델리스 DRL과 실제 에너지 시스템의 엄격한 타당성 요구 사항 사이의 격차를 메우기 위해.
• DNN 추론 단계에 최적화 이론을 통합하여 기존 DRL 방법을 향상시키기 위해.

제안 방법

• MIP-DQN 알고리즘은 훈련된 Q-네트워크를 혼합정수계획법(MIP) 공식화로 재구성하여 운영 제약 조건을 액션 공간에 직접 통합한다.
• 온라인 추론 중에 MIP 공식화는 전력 수요 균형, DG 램프 제약, ESS 충전/방전 제약 등 시스템 제약 조건을 엄격히 충족하는 모든 액션(예: 전력 출력)을 보장한다.
• Q-네트워크는 제약 위반에 대한 벌점 항과 보상 조정을 위한 스케일링 계수를 포함하는 보상 함수를 사용하여 DQN 기반 프레임워크로 오프라인에서 훈련된다.
• 최근 DNN를 MIP로 표현하는 기술 발전을 활용하여 정확한 제약 조건 이행을 보장하면서도 정책의 최적성에 영향을 주지 않는다.
• MIP 공식화는 추론 시점에 해결되어 타당한 액션을 생성함으로써 타당하지 않은 스케줄이 생성되지 않도록 보장한다.
• 다양한 분산 발전기와 에너지 저장 시스템을 포함한 테스트 시스템을 대상으로 포괄적인 시뮬레이션을 통해 방법의 유효성이 검증되었다.

Figure 5: Mean and standard deviation of the demand consumption and PV generation.

실험 결과

연구 질문

• RQ1 실시간 에너지 시스템 스케줄링에서 하드 운영 제약 조건을 이행할 수 있는 DRL 알고리즘을 설계할 수 있는가?
• RQ2 DRL에서 사용되는 딥 네트워크는 온라인 추론 중에 제약 조건 타당성을 보장하기 위해 어떻게 재구성될 수 있는가?
• RQ3 불확실한 재생 가능 에너지 예측 조건 하에서 기존 최첨단 DRL 알고리즘 대비 MIP-DQN 방법은 스케줄링 오차를 어느 정도 감소시키는가?
• RQ4 훈련 데이터에 이러한 시나리오가 포함되어 있지 않은 예측되지 않은 테스트 일자에서도 MIP-DQN 알고리즘이 제약 조건 타당성을 유지할 수 있는가?
• RQ5 MIP로 표현된 DNN의 통합은 에너지 스케줄링에서 최적성과 계산 타당성 사이의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• MIP-DQN 알고리즘은 정확한 예측 정보를 가진 최적의 전역 해 대비 13.7%의 스케줄링 오차를 기록한다.
• 제안된 방법은 전력 수요 균형, 램프 제약, ESS 충전 상태 한계 등 모든 운영 제약 조건을 예측되지 않은 테스트 일자에도 엄격히 준수한다.
• 해결 품질 측면에서 기존 최첨단 DRL 알고리즘보다 우수하며, 더 낮은 오차와 더 나은 제약 조건 준수를 보인다.
• 훈련된 Q-네트워크를 MIP로 재구성함으로써 온라인 실행 중 타당성이 유지되어 타당하지 않은 액션이 선택되지 않도록 보장한다.
• 다양한 분산 발전기와 에너지 저장 장치를 포함한 복잡한 실제와 유사한 시나리오에서도 강건성을 입증한다.
• 결과는 MIP로 표현된 DNN가 최적에 가까운 성능을 유지하면서도 안전하고 제약 조건 인지 기반 강화학습을 가능하게 함을 확인한다.

Figure 6: Mean and 95% confident interval for the reward, operating cost and power unbalance for the developed MIP-DQN algorithm, as well as for other DRL algorithms, during training. As expected, none of these DRL algorithms are able to enforce the power balance constraint.