[논문 리뷰] Explainable AI: Deep Reinforcement Learning Agents for Residential Demand Side Cost Savings in Smart Grids

Hareesh Kumar, Priyanka Mary Mammen외 1명|arXiv (Cornell University)|2019. 10. 19.

Smart Grid Energy Management참고 문헌 17인용 수 5

한 줄 요약

이 논문은 동적 요금제 하에서 전기 요금을 최소화하기 위해 주거용 에너지 저장 장치를 자율적으로 관리하는 딥 강화학습(DRL) 에이전트를 제안한다. 에이전트는 시뮬레이션된 스마트 그리드 환경에서 시도와 실수를 통해 최적의 충전/방전 전략을 학습하며, 최대 14%의 비용 절감을 달성한다—특히 수요 반응 프로그램과 조합될 경우 더욱 효과적이다. 또한 배터리 용량과 요금 체계에 기반한 의사결정 과정에 대한 설명 가능한 통찰을 제공한다.

ABSTRACT

Motivated by recent advancements in Deep Reinforcement Learning (RL), we have developed an RL agent to manage the operation of storage devices in a household and is designed to maximize demand-side cost savings. The proposed technique is data-driven, and the RL agent learns from scratch how to efficiently use the energy storage device given variable tariff structures. In most of the studies, the RL agent is considered as a black box, and how the agent has learned is often ignored. We explain the learning progression of the RL agent, and the strategies it follows based on the capacity of the storage device.

연구 동기 및 목표

• 변동 전기 요금제 하에서 주거용 에너지 저장 운영을 최적화하기 위한 데이터 기반, 설명 가능한 강화학습 에이전트 개발
• 강화학습 에이전트의 투명성 부족 문제를 해결하기 위해 학습 진행 과정과 의사결정 전략을 분석하고 설명하기
• 시간당 요금(ToD) 및 수요 반응(DR) 요금제 하에서 배터리 용량이 비용 절감과 최적 운영 정책에 미치는 영향 평가하기
• 다양한 저장 용량과 요금 체계에서 강화학습 에이전트의 확장성 및 적응 가능성 입증하기
• 주거용 에너지 시스템에서 최적의 배터리 크기 결정 및 수익성 분석 기초 제공하기

제안 방법

• 주거용 전기 소비 및 동적 요금 체계를 시뮬레이션하는 커스터마이징된 환경을 사용해 딥 Q네트워크(DQN) 에이전트를 훈련시킴
• 에이전트는 시간대, 전기 요금, 배터리 충전 상태 등을 상태 특징으로 관찰하고, 배터리 충전 또는 방전 조치를 취함
• 보상 함수는 기준선 대비 비용 절감으로 정의됨: $\text{cost}_\text{saving} = \left(1 - \frac{\text{Cost}(\text{RLAgent})}{\text{Cost}(\text{BaseLine})}\right) \times 100$
• 훈련 안정성을 확보하기 위해 경험 재생과 타겟 네트워크를 사용하며, 탐색과 수렴을 최적화하기 위해 초모델 설정 조정
• 훈련은 1개월 분량의 주거용 부하 및 요금 데이터를 기반으로 수행되며, 테스트는 이후 1개월 데이터로 수행되며, 수요 반응 시나리오에 맞게 모델을 미세조정함
• 배터리 수명 연장 목적을 위해 충전을 최대 용량의 90% 이하, 방전을 최대 용량의 10% 이하로 제한하는 제약 조건 통합

실험 결과

연구 질문

• RQ1 다양한 배터리 용량에서 DRL 에이전트의 주거용 전기 요금 절감 성능는 어떻게 변화하는가?
• RQ2 배터리 용량과 요금 체계에 따라 RL 에이전트는 어떤 의사결정 전략을 채택하는가?
• RQ3 수요 반응(DR) 프로그램이 비용 절감과 에이전트 행동에 어떤 영향을 미치는가?
• RQ4 RL 에이전트의 학습 과정과 전략을 의미적으로 설명하고 시각화할 수 있는가?
• RQ5 ToD 및 DR 요금제 하에서 비용 절감을 극대화하기 위한 최적의 배터리 용량은 무엇인가?

주요 결과

• 기본 시간당 요금(ToU) 요금제 하에서 RL 에이전트는 6–8%의 비용 절감을 달성했으며, 수요 반응(DR) 프로그램과 조합될 경우 12–14%로 증가함
• 15,000Wh 이상의 배터리 용량을 초과하면 비용 절감 효과가 정점에 도달하여 수익 감소 현상 발생
• 저용량 배터리(예: 5kWh)는 고용량 시나리오로 일반화하지 못했지만, 고용량 에이전트는 저용량 상태를 성공적으로 관리할 수 있었음
• 에이전트는 저비용 기간(22:00–06:00)에 충전하고 고비용 기간에 방전하는 전략을 학습했으며, 고용량 시스템에서는 완전 충전 전략이 나타남
• 에이전트의 행동은 설명 가능했음: 요금이 낮을 때는 항상 충전하고, 요금이 높을 때는 항상 방전함. 전략은 저장 용량에 비례해 확장됨
• 사전 훈련된 에이전트를 DR 시나리오에 맞게 미세조정함으로써, 일일 수요 제한 및 벌금 요금과 같은 새로운 제약 조건에 효과적으로 적응함