[논문 리뷰] District Cooling System Control for Providing Operating Reserve based on Safe Deep Reinforcement Learning

Peipei Yu, Hongxun Hui외 3명|arXiv (Cornell University)|2021. 12. 21.

Smart Grid Energy Management인용 수 5

한 줄 요약

이 논문은 실시간 운영 예비를 제공하기 위해 도시 냉방 시스템(DCS)에 대한 모델 불필요 안전 딥 강화학습(safe-DRL) 프레임워크를 제안한다. 전력 제약을 준수하기 위해 안전 레이어를 통합하고, 복구 단계에서 전력 리바운드를 방지하기 위해 자기 적응형 보상 함수를 도입함으로써, 열적 쾌적성과 시스템 안정성을 유지하면서도 전력 제한 준수와 부드러운 복구를 보장한다. 실제 DCS에 대한 수치 시뮬레이션을 통해 검증되었다.

ABSTRACT

Heating, ventilation, and air conditioning (HVAC) systems are well proved to be capable to provide operating reserve for power systems. As a type of large-capacity and energy-efficient HVAC system (up to 100 MW), district cooling system (DCS) is emerging in modern cities and has huge potential to be regulated as a flexible load. However, strategically controlling a DCS to provide flexibility is challenging, because one DCS services multiple buildings with complex thermal dynamics and uncertain cooling demands. Improper control may lead to significant thermal discomfort and even deteriorate the power system's operation security. To address the above issues, we propose a model-free control strategy based on the deep reinforcement learning (DRL) without the requirement of accurate system model and uncertainty distribution. To avoid damaging "trial & error" actions that may violate the system's operation security during the training process, we further propose a safe layer combined to the DRL to guarantee the satisfaction of critical constraints, forming a safe-DRL scheme. Moreover, after providing operating reserve, DCS increases power and tries to recover all the buildings' temperature back to set values, which may probably cause an instantaneous peak-power rebound and bring a secondary impact on power systems. Therefore, we design a self-adaption reward function within the proposed safe-DRL scheme to constrain the peak-power effectively. Numerical studies based on a realistic DCS demonstrate the effectiveness of the proposed methods.

연구 동기 및 목표

• 실시간 운영 예비 제공를 위해 불확실한 냉방 수요를 가진 대규모 복잡한 DCS를 제어하는 과제를 해결하기 위해.
• DRL 학습 중 안전하지 않은 '시험과 오류' 행동을 방지함으로써 시스템 운영 안정성을 확보하기 위해.
• 예비 서비스 이후 DCS 복구 단계에서 피크 전력 리바운드를 방지함으로써 전력 시스템에 대한 2차 영향을 최소화하기 위해.
• 전력 감소 및 복구 단계 동안 이질적인 건물들 사이에서 실내 열적 쾌적성을 유지하기 위해.
• 정확한 시스템 모델이나 불확실성 분포에 대한 사전 지식이 필요 없는 모델 불필요 제어 전략을 개발하기 위해.

제안 방법

• 딥 강화학습(DRL) 에이전트는 실시간 전력 조정을 위해 DCS의 냉각수 질량 유량을 제어하기 위해 훈련된다.
• 학습 기간 동안 최대 허용 전력 소비와 같은 핵심 제약 조건을 준수하기 위해 DRL 프레임워크에 안전 레이어가 통합된다.
• 복구 단계에서 전력이 급격히 증가하는 것을 방지하기 위해 자기 적응형 보상 함수가 설계되어 피크 전력 리바운드를 억제한다.
• 정확한 DCS의 열역학적 모델이나 수요 불확실성 분포에 대한 지식에 의존하지 않기 때문에 모델 불필요하다.
• 목표는 온도 편차를 최소화하면서 전력 제한 내에서 머무르는 것으로, 실제 DCS의 역사적 데이터를 사용해 DRL 에이전트를 훈련시킨다.
• 안전-DRL 프레임워크는 전력 감소 및 복구 단계 동안 DCS가 안전 한계 내에서 운영되도록 보장한다.

실험 결과

연구 질문

• RQ1 모델 불필요 DRL 접근 방식이 열적 쾌적성을 유지하면서 운영 예비를 제공하기 위해 DCS를 효과적으로 제어할 수 있는가?
• RQ2 DRL 학습 중 안전하지 않은 행동을 어떻게 방지하여 시스템 운영 안정성을 확보할 수 있는가?
• RQ3 제안된 방법이 DCS 복구 단계에서 전력 리바운드를 어느 정도 억제할 수 있는가?
• RQ4 서비스 지속 시간과 전력 제한 수준의 변화가 DCS의 운영 예비 제공 성능에 어떤 영향을 미치는가?
• RQ5 안전-DRL 에이전트는 최소한의 재훈련으로 유사한 DCS 구성에 일반화될 수 있는가?

주요 결과

• 모든 시험 케이스에서 DCS의 운영 전력은 항상 60 MW의 전력 제한 이하로 유지되어 예비 제공 기간 동안 안전성을 확보했다.
• 모든 건물의 온도 편차는 설정값 기준 ±1°C 이내로 유지되어 조절 기간 내내 열적 쾌적성을 유지를 보였다.
• 안전-DRL 방법은 전력 리바운드를 효과적으로 억제하여 PI 컨트롤러에 비해 물과 바람의 질량 유량 복구가 더 천천가고 부드럽게 이루어졌다.
• 서비스 지속 시간이 30분을 초과할 경우, 온도 편차는 최대 1.5°C로 증가하여 장기 조절 조건에서 성능 저하가 발생했다.
• 전력 제한이 45 MW 이하일 경우, 물리적 유량 제한으로 인해 DCS가 요구하는 제한을 충족하지 못했고, 온도 편차가 크게 증가했다.
• 다양한 지속 시간과 전력 제한 조건에서의 성능을 고려할 때, 메서드는 강건성을 보였으며, 중간 수준의 지속 시간과 높은 전력 제한에서 최적의 성능을 기록했다.