[논문 리뷰] Deep Reinforcement Learning for Optimal Control of Space Heating

Ádám Nagy, Hussain Kazmi외 2명|arXiv (Cornell University)|2018. 05. 10.

Building Energy and Comfort Optimization참고 문헌 21인용 수 53

한 줄 요약

공간 난방 제어를 위한 새로운 심층 강화 학습 알고리즘으로 계산 효율적이며, 다른 기법과 벤치마크되었고, 다양한 가격 신호 하에서 규칙 기반 제어를 5–10% 향상시킵니다.

ABSTRACT

Classical methods to control heating systems are often marred by suboptimal performance, inability to adapt to dynamic conditions and unreasonable assumptions e.g. existence of building models. This paper presents a novel deep reinforcement learning algorithm which can control space heating in buildings in a computationally efficient manner, and benchmarks it against other known techniques. The proposed algorithm outperforms rule based control by between 5-10% in a simulation environment for a number of price signals. We conclude that, while not optimal, the proposed algorithm offers additional practical advantages such as faster computation times and increased robustness to non-stationarities in building dynamics.

연구 동기 및 목표

• 정확한 건물 모델에 의존하지 않는 공간 난방 제어를 위한 DRL 기반 정책 개발.
• 전통적인 규칙 기반 및 기타 제어 기법과 DRL 제어기를 벤치마킹합니다.
• 건물 동역학의 비정상성에 대한 계산 효율성과 강인성 평가.
• 여러 가격 신호 시나리오에서 성능 평가.

제안 방법

• 공간 난방 제어에 맞춘 새로운 심층 강화 학습 알고리즘 제안.
• 시뮬레이션에서 제안된 DRL 방법을 규칙 기반 제어 및 다른 기법과 벤치마킹합니다.
• 다양한 가격 신호를 가진 시뮬레이션 환경을 사용하여 성능을 평가합니다.
• 건물 동역학의 비정상성에 대한 계산 효율성과 강인성을 비교합니다.
• 에너지 비용 절감 및 동적 조건에 대한 적응성 측면에서 결과를 분석합니다.

실험 결과

연구 질문

• RQ1 다양한 가격 신호에 걸쳐 DRL 기반 제어기가 규칙 기반 제어보다 공간 난방의 에너지 비용을 낮출 수 있습니까?
• RQ2 제안된 DRL 제어기가 계산 효율적이며 비정상적인 건물 동역학에 강인합니까?
• RQ3 동적 가격 신호 하에서 DRL 방법이 기존 제어 기법에 비해 어떤 성능을 보입니까?
• RQ4 최적성 외에 DRL 접근이 제공하는 실용적 이점은 무엇입니까(예: 강인성, 적응성)?

주요 결과

• 제안된 DRL 알고리즘은 여러 가격 신호에 걸친 시뮬레이션에서 규칙 기반 제어보다 5-10% 차이로 우수합니다.
• 알고리즘은 대안들에 비해 계산 효율적입니다.
• DRL 접근 방식은 건물 동역학의 비정상성에 대한 강인성이 증가하는 것을 보여줍니다.
• 다른 알려진 기법과의 벤치마킹은 경쟁력 있는 성능을 보여줍니다.