[논문 리뷰] Reinforcement Learning-based Home Energy Management with Heterogeneous Batteries and Stochastic EV Behaviour

Meng Yuan, Ye Emma Wang외 3명|arXiv (Cornell University)|2026. 02. 04.

Electric Vehicles and Infrastructure인용 수 0

한 줄 요약

논문은 확률적 EV 사용 하에서 이질적 정지형 배터리와 EV 배터리를 최적으로 관리하기 위해 Lagrangian Soft Actor-Critic를 이용한 제약 딥 강화 학습 프레임워크를 제안하고, 비용 및 배터리 열화 지표를 개선하면서 쾌적함을 유지한다.

ABSTRACT

The widespread adoption of photovoltaic (PV), electric vehicles (EVs), and stationary energy storage systems (ESS) in households increases system complexity while simultaneously offering new opportunities for energy regulation. However, effectively coordinating these resources under uncertainties remains challenging. This paper proposes a novel home energy management framework based on deep reinforcement learning (DRL) that can jointly minimise energy expenditure and battery degradation while guaranteeing occupant comfort and EV charging requirements. Distinct from existing studies, we explicitly account for the heterogeneous degradation characteristics of stationary and EV batteries in the optimisation, alongside stochastic user behaviour regarding arrival time, departure time, and driving distance. The energy scheduling problem is formulated as a constrained Markov decision process (CMDP) and solved using a Lagrangian soft actor-critic (SAC) algorithm. This approach enables the agent to learn optimal control policies that enforce physical constraints, including indoor temperature bounds and target EV state of charge upon departure, despite stochastic uncertainties. Numerical simulations over a one-year horizon demonstrate the effectiveness of the proposed framework in satisfying physical constraints while eliminating thermal oscillations and achieving significant economic benefits. Specifically, the method reduces the cumulative operating cost substantially compared to two standard rule-based baselines while simultaneously decreasing battery degradation costs by 8.44%.

연구 동기 및 목표

• 순 전력망 전력 비용과 배터리 열화를 최소화한다.
• 실거주자의 열적 쾌적함을 경계 내에서 보장한다.
• ESS, PV, HVAC를 조정하면서 EV 충전 요건을 충족한다.
• 이질적인 배터리 열화와 확률적 EV 동작을 모델링한다.
• 스웨덴 가정 맥락에서 검증된 학습 프레임워크를 제공한다.

제안 방법

• 스케줄링 문제를 제약된 마르코프 결정 프로세스(CMDP)로 형식화한다.
• 제약 처리를 위한 이중 변수와 함께 Lagrangian 소프트 액터-Critic(SAC) 알고리즘으로 해결한다.
• LFP(정지형)와 NMC(EV) 배터리를 구분하는 반경험적 열화 모델을 도입한다.
• 도착/출발 시간 및 일일 주행 거리의 스웨덴 여행 설문 데이터에 맞춘 분포를 사용하여 확률적 EV 동작을 모델링한다.
• 학습 성능과 제약 만족도를 검증하기 위해 높은 정밀도의 스웨덴 가구 환경을 사용한다.

실험 결과

연구 질문

• RQ1 확률적 EV 사용 하에서 CMDP와 Lagrangian SAC가 HVAC, ESS, EV 및 가정용 기기를 효과적으로 공동 최적화할 수 있는가?
• RQ2 이질적인 배터리 열화 모델이 HEMS 제어 정책과 비용 절감에 어떤 영향을 미치는가?
• RQ3 불확실성하에서도 프레임워크가 거주자의 쾌적함과 EV 충전 요건을 유지하는가?
• RQ4 룰 기반 벤치마크와 비교했을 때 경제적 이점과 열화 감소는 무엇인가?

주요 결과

• 본 접근법은 두 가지 표준 룰 기반 기준선에 비해 누적 운영 비용을 크게 감소시킨다.
• 배터리 열화 비용이 8.44% 감소한다.
• 프레임워크는 확률적 불확실성에도 불구하고 실내 온도 경계와 출발 시 EV의 목표 충전 상태를 강제한다.