[논문 리뷰] Performance Comparison of Deep RL Algorithms for Energy Systems Optimal Scheduling

Shengren Hou, Edgar Mauricio Salazar Duque외 2명|arXiv (Cornell University)|2022. 08. 01.

Smart Grid Energy Management인용 수 4

한 줄 요약

이 논문은 에너지 시스템에서 실시간 최적 스케줄링을 위한 딥 강화학습(DRL) 알고리즘—DDPG, TD3, SAC, PPO—을 평가한다. PPO는 운영 비용과 기술적 제약 조건 간의 균형을 잘 맞추며 다른 DRL 방법보다 뛰어난 성능을 보였지만, 고점복하 상황에서는 타당성 문제를 겪는 등 DRL 기반 에너지 관리 시스템의 제약 조건 강제 수단 개선이 필요함을 시사한다.

ABSTRACT

Taking advantage of their data-driven and model-free features, Deep Reinforcement Learning (DRL) algorithms have the potential to deal with the increasing level of uncertainty due to the introduction of renewable-based generation. To deal simultaneously with the energy systems' operational cost and technical constraints (e.g, generation-demand power balance) DRL algorithms must consider a trade-off when designing the reward function. This trade-off introduces extra hyperparameters that impact the DRL algorithms' performance and capability of providing feasible solutions. In this paper, a performance comparison of different DRL algorithms, including DDPG, TD3, SAC, and PPO, are presented. We aim to provide a fair comparison of these DRL algorithms for energy systems optimal scheduling problems. Results show DRL algorithms' capability of providing in real-time good-quality solutions, even in unseen operational scenarios, when compared with a mathematical programming model of the energy system optimal scheduling problem. Nevertheless, in the case of large peak consumption, these algorithms failed to provide feasible solutions, which can impede their practical implementation.

연구 동기 및 목표

• 실시간 에너지 시스템 최적 스케줄링 문제를 해결하는 정책 기반 딥 강화학습(DRL) 알고리즘의 성능 평가.
• 특히 전력 수요 균형 및 전력망 수출/수입 제한과 같은 제약 조건 이행에 영향을 미치는 보상 함수 설계의 보상 기반 보상 함수 설계 영향 조사.
• 수학적 프로그래밍 기준과 비교해 미리 보지 못한 운영 시나리오에서 DRL 알고리즘의 강건성과 타당성 평가.
• 해결 품질과 제약 조건 이행에 영향을 미치는 하이퍼파rameter 민감도—특히 보상 함수의 보상 계수 σ₂—식별.
• 기술적 제약 조건을 고려한 실세계 에너지 시스템에서 DRL 기반 스케줄링의 실용적 타당성 평가.

제안 방법

• 연속적인 행동과 상태 공간을 갖는 마르코프 결정 과정(MDP)으로 에너지 시스템 스케줄링 문제를 수식화.
• 운영 비용 최소화와 전력 불균형에 대한 보상 항을 조합한 보상 함수 설계하며, σ₁과 σ₂ 계수를 사용해 트레이드오프 균형 조정.
• 최신 DRL 알고리즘 네 가지—DDPG, TD3, SAC, PPO—모두 심층 신경망을 사용한 함수 근사 구현.
• 최적의 솔루션 품질과 제약 조건 타당성 기준으로 혼합정수이차계획법(MIQP) 모델 사용.
• 보상 함수의 보상 계수 σ₂에 대한 민감도 분석 수행해 전력 불균형과 운영 비용에 미치는 영향 평가.
• 다양한 전력망 수출/수입 제한(P̄ᶜ)과 다양한 σ₂ 값(20, 50, 100) 조건 하에 10단계 시간 간격으로 성능 평가.

실험 결과

연구 질문

• RQ1 실시간 제약 조건 하에서 DRL 알고리즘(DDPG, TD3, SAC, PPO)이 에너지 시스템 최적 스케줄링 성능에서 어떻게 비교되는가?
• RQ2 보상 함수의 보상 계수 σ₂가 전력 수요 균형과 운영 비용에 어떤 영향을 미치는가?
• RQ3 전력망 수출/수입 전력 제한을 증가시키면 DRL 기반 스케줄링의 타당성과 성능에 어떤 영향을 미치는가?
• RQ4 DRL 알고리즘이 제약 조건 타당성을 유지하면서도 예측하지 못한 운영 시나리오로 일반화 가능한가?
• RQ5 에너지 스케줄링에서 비용 최소화와 제약 조건 이행 간 최적의 트레이드오프를 보여주는 DRL 알고리즘은 무엇인가?

주요 결과

• PPO는 고점복하 상황에서도 운영 비용과 제약 조건 이행 측면에서 DDPG, TD3, SAC를 모두 앞서며 뛰어난 성능 보였음.
• 보상 계수 σ₂를 20에서 100으로 증가시킬 경우 전력 불균형이 크게 감소했으며, PPO와 SAC는 σ₂ = 100일 때 거의 영점 수준의 불균형 달성.
• DDPG와 TD3는 PPO와 SAC보다 σ₂에 덜 민감했으며, 모든 값에서 일관된 불균형 감소를 보였음.
• 모든 DRL 알고리즘이 고점복소비 시나리오에서 타당한 해를 도출하지 못해 실세계 적용에 있어 심각한 제한이 있음.
• 전력망 수출/수입 제한(P̄ᶜ)은 해의 타당성에 상당한 영향을 미쳤으며, 높은 제한은 행동 공간의 유연성 증가를 초래함.
• 좋은 일반화 능력과 실시간 성능를 보였지만, 모델 기반 최적화와 비교해 DRL 방법은 등식 제약 조건인 전력 수요 균형 이행을 강제하는 데 안전 보장이 부족함.