[논문 리뷰] Optimal Demand Response Using Device Based Reinforcement Learning

Zheng Wen, Daniel O’Neill외 1명|arXiv (Cornell University)|2014. 01. 08.

Smart Grid Energy Management참고 문헌 18인용 수 6

한 줄 요약

이 논문은 주거용 및 소규모 상업용 건물에서 최적의 수요 반응을 위한 장치 기반 강화학습(RL) 프레임워크를 제안하며, 사전 정의된 사용자 불만 함수가 필요로 하지 않는다. 에너지 관리 시스템(EMS)을 장치 클러스터 기반의 분산형 RL 문제로 재구성함으로써, 자율적 작업 스케줄링과 유연한 사용자 요청을 가능하게 하여 선형 계산 복잡도를 달성하고, 다양한 비용-지연 트레이드오프 상황에서 Q-학습 시뮬레이션을 통해 뛰어난 성능을 입증한다.

ABSTRACT

Demand response (DR) for residential and small commercial buildings is estimated to account for as much as 65% of the total energy savings potential of DR, and previous work shows that a fully automated Energy Management System (EMS) is a necessary prerequisite to DR in these areas. In this paper, we propose a novel EMS formulation for DR problems in these sectors. Specifically, we formulate a fully automated EMS's rescheduling problem as a reinforcement learning (RL) problem, and argue that this RL problem can be approximately solved by decomposing it over device clusters. Compared with existing formulations, our new formulation (1) does not require explicitly modeling the user's dissatisfaction on job rescheduling, (2) enables the EMS to self-initiate jobs, (3) allows the user to initiate more flexible requests and (4) has a computational complexity linear in the number of devices. We also demonstrate the simulation results of applying Q-learning, one of the most popular and classical RL algorithms, to a representative example.

연구 동기 및 목표

• 수동적 의사결정이 의사결정 피로와 참여도 저하를 초래하는 주거용 및 소규모 상업용 건물에서 수요 반응 자동화의 과제를 해결하기 위해.
• 이전 연구의 주요 제한 사항인 작업 재스케줄링에 따른 사용자 불만을 명시적으로 모델링할 필요 없이 이를 제거하기 위해.
• 자율적 작업 시작(예: 환기·공조, 수영장 난방기)과 융통성 있는 사용자 요청을 지원하는 EMS 구성 방식을 개발하기 위해.
• 장치 수에 대해 선형 계산 복잡도를 달성하여 확장성을 확보하기 위해.
• 대표적인 합성 사례를 기반으로 Q-학습을 사용하여 제안된 RL 기반 EMS의 타당성과 성능을 입증하기 위해.

제안 방법

• 장치 클러스터 기반의 분산형 마르코프 결정 과정(MDP)으로 EMS 재스케줄링 문제를 수식화하기 위해.
• 전체 RL 문제를 복잡도를 줄이고 확장성을 확보하기 위해 장치 클러스터 수준의 의사결정으로 분해하기 위해.
• 에너지 가격과 사용자 요청과의 상호작용을 통해 최적의 스케줄링 정책을 학습하기 위해 Q-학습을 핵심 RL 알고리즘으로 사용하기 위해.
• 사용자 요청을 우선순위와 무관하게 시간에 따라 변하는 취소 가능성이 있는 확률적 사건으로 모델링하기 위해.
• 비용-지연 트레이드오프 파rameter(γ)에 따라 시스템 성능을 평가하기 위해 상대적 수요 반응 잠재력(RDRP) 지표를 정의하기 위해.
• 학습 중 탐색과 탐색 간 균형을 맞추기 위해 온도 파ram터 η와 탐색 비율 ε를 포함한 소프트민 정책을 구현하기 위해.

실험 결과

연구 질문

• RQ1 작업 재스케줄링에 대한 사용자 불만 함수를 명시적으로 모델링할 필요 없이 완전히 자동화된 EMS를 설계할 수 있는가?
• RQ2 제안된 장치 기반 RL 구성 방식은 어떤 작업 재스케줄링도 하지 않는 기준선 정책에 비해 어떻게 성능을 발휘하는가?
• RQ3 비용-지연 트레이드오프 파ram터 γ를 변화시켰을 때 시스템의 상대적 향상도(RI)에 어떤 영향을 미치는가?
• RQ4 사용자 요청 없이도 EMS가 자율적으로 작업을 시작할 수 있는가? 이는 에너지 비용과 사용자 지연에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 장치 수 증가에 따라 효율적으로 확장되며, 선형 계산 복잡도를 유지하는가?

주요 결과

• 제안된 RL 기반 EMS는 다양한 비용-지연 트레이드오프 파ram터 범위에서 기준선 정책(재스케줄링 없음)을 초월하여 성능을 발휘하며, γ ≤ 4.3 범위에서는 항상 양의 상대적 향상도(RI)를 기록한다.
• 비용-지연 트레이드오프 파ram터 γ가 증가할수록 상대적 수요 반응 잠재력(RDRP)은 단조 감소하며, 이는 재스케줄링을 피하는 데 더 큰 우선순위를 두면 시스템의 성과 향상 능력이 떨어짐을 시사한다.
• γ = 0일 때 RDRP = 1이며, γ → ∞로 갈수록 RDRP는 0에 수렴함으로써 모델의 이론적 한계가 확인된다.
• 시뮬레이션 결과는 Q-학습이 최적의 스케줄링 정책을 성공적으로 학습했음을 보여주며, γ가 증가할수록 RI가 감소함으로써 재스케줄링의 유연성 감소가 반영됨을 확인한다.
• 장치 클러스터 수에 대해 선형 계산 복잡도를 달성하여 실세계 구현에 있어 확장성이 보장된다.
• 프레임워크는 자율적 작업 스케줄링을 가능하게 하고, 융통성 있는 사용자 요청을 지원함으로써 이전 접근법의 핵심 한계를 극복한다.