[논문 리뷰] Smart Home Energy Management: VAE-GAN synthetic dataset generator and Q-learning

Mina Razghandi, Hao Zhou외 2명|arXiv (Cornell University)|2023. 05. 14.

Building Energy and Comfort Optimization인용 수 4

한 줄 요약

이 논문은 스마트 홈 에너지 소비, 즉 부하 프로파일, PV 발전 및 전기차 충전을 위한 고해상도 합성 시계열 데이터를 생성하기 위해 VAE-GAN 프레임워크를 제안한다. Q-학습 기반의 HEMS를 훈련하는 데 사용되었을 때, 합성 데이터는 에이전트가 실시간에서 near-optimal 성능을 달성하게 하며, GAN 및 GMM로 생성된 데이터를 훈련한 모델보다 뛰어난 성능을 보이며, VAE-GAN 접근법은 실제 데이터와 비교해 뛰어난 통계적 유사성을 보이고 다양한 에너지 저장 용량에서 더 높은 실세계 수익을 제공한다.

ABSTRACT

Recent years have noticed an increasing interest among academia and industry towards analyzing the electrical consumption of residential buildings and employing smart home energy management systems (HEMS) to reduce household energy consumption and costs. HEMS has been developed to simulate the statistical and functional properties of actual smart grids. Access to publicly available datasets is a major challenge in this type of research. The potential of artificial HEMS applications will be further enhanced with the development of time series that represent different operating conditions of the synthetic systems. In this paper, we propose a novel variational auto-encoder-generative adversarial network (VAE-GAN) technique for generating time-series data on energy consumption in smart homes. We also explore how the generative model performs when combined with a Q-learning-based HEMS. We tested the online performance of Q-learning-based HEMS with real-world smart home data. To test the generated dataset, we measure the Kullback-Leibler (KL) divergence, maximum mean discrepancy (MMD), and the Wasserstein distance between the probability distributions of the real and synthetic data. Our experiments show that VAE-GAN-generated synthetic data closely matches the real data distribution. Finally, we show that the generated data allows for the training of a higher-performance Q-learning-based HEMS compared to datasets generated with baseline approaches.

연구 동기 및 목표

• 기계 학습 모델 훈련을 위한 공개 가능하고 고품질의 스마트 홈 에너지 데이터셋 부족 문제를 해결하기 위해.
• 시간적 동역학과 다양한 가정용 부하를 반영하는 실시간 에너지 소비 데이터를 스케일링 가능한 데이터 기반 방법으로 생성하기 위해.
• VAE-GAN으로 생성된 합성 데이터가 실세계 구현을 위해 Q-학습 기반 HEMS를 효과적으로 훈련시킬 수 있는지 평가하기 위해.
• 실제 데이터 기반 기준선과 비교하여 VAE-GAN, 일반 GAN, GMM로 생성된 합성 데이터를 사용해 훈련한 HEMS의 성능을 비교하기 위해.
• 합성 데이터의 실세계 스마트 홈 에너지 관리 시스템에서의 타당성, 확장성 및 경제적 이점 평가하기 위해.

제안 방법

• VAE-GAN 아키텍처를 사용하여 스마트 홈 에너지 소비, PV 발전 및 전기차 충전을 위한 합성 시계열 데이터를 생성하며, VAE의 분리된 잠재 공간과 GAN의 생성 능력을 조합한다.
• 개별 기기나 행동에 대한 사전 모델링 없이도, 실제 스마트 미터 데이터를 엔드 투 엔드로 훈련하여 비선형적이고 복잡한 시간적 패턴을 학습한다.
• 실제 데이터와 합성 데이터 간의 분포 유사성 평가를 위해 통계적 지표인 Kullback–Leibler 발산, 최대 평균 차이(MMD), 워샤르슈타인 거리가 사용된다.
• 합성 데이터셋을 사용해 오프라인으로 Q-학습 기반 HEMS를 훈련하여 에너지 저장 및 수요 반응 결정을 통해 장기적인 에너지 비용 절감과 수익을 최적화한다.
• 훈련된 HEMS 에이전트는 실세계 데이터를 사용해 온라인으로 평가되며, 일일 수익과 학습 안정성 측면에서 성능을 측정한다.
• 합성 데이터 생성에 GAN과 가우시안 믹스 모델(GMM)을 사용한 기준 모델과 비교하며, 에너지 저장 시스템(ESS) 용량에 따라 다양한 조건에서 성능을 평가한다.

Figure 1 : Overall architecture of the proposed scheme

실험 결과

연구 질문

• RQ1 VAE-GAN 모델은 실제 데이터의 통계적 및 시간적 분포와 유사한 합성 스마트 홈 에너지 소비 데이터를 생성할 수 있는가?
• RQ2 VAE-GAN로 생성된 합성 데이터를 기반으로 훈련한 Q-학습 기반 HEMS의 성능은 실제 데이터 또는 다른 합성 데이터 방법을 사용한 경우와 비교해 어떻게 되는가?
• RQ3 합성 데이터의 품질이 HEMS 에이전트의 실세계 온라인 성능에 상당한 영향을 미치는가?
• RQ4 에너지 저장 시스템(ESS)의 용량이 다양한 합성 데이터 소스를 기반으로 훈련된 HEMS 에이전트의 상대적 성능에 어떻게 영향을 미치는가?
• RQ5 실세계 스마트 홈 에너지 관리에 VAE-GAN 기반 합성 데이터 파이프라인을 도입하는 데 있어 확장성, 관리 비용 및 경제적 타당성은 어떠한가?

주요 결과

• VAE-GAN로 생성된 합성 데이터는 실제 데이터와 비교해 가장 낮은 Kullback–Leibler 발산(0.02), MMD(0.01), 워샤르슈타인 거리(0.03)를 기록하여 뛰어난 통계적 정밀도를 보였다.
• 모든 ESS 용량에서 VAE-GAN 합성 데이터를 기반으로 훈련한 HEMS가 가장 높은 평균 온라인 수익을 달성했으며, GAN 및 GMM로 생성된 데이터를 사용한 모델보다 뛰어난 성능을 보였다.
• 40일간의 온라인 테스트에서 VAE-GAN 기반 HEMS는 대부분의 날짜에서 실제 데이터 기준선과 유사한 수익을 달성했으며, ESS 용량이 증가할수록 격차가 점점 줄어들었다.
• VAE-GAN 데이터를 기반으로 훈련된 Q-학습 에이전트는 탐색 단계 이후 안정적인 수렴을 보였으며, 합성 데이터로부터 신뢰할 수 있는 학습이 가능함을 시사했다.
• 제안된 방법은 모델 업데이트가 시스템 구성 변경 시 새로운 데이터셋으로 재훈련하기만 하면 되므로 높은 확장성과 낮은 관리 비용을 보였다.
• VAE-GAN 기반 HEMS의 경제적 이점은 에너지 아르비트레이션과 수요 반응 향상으로 인해 스마트 빌딩 및 공동체와 같은 대규모 구현에서 가장 높았다.

Figure 2 : VAE-GAN model architecture. In this network, the encoder module encodes the input sequence as a Gaussian distribution over the latent space, defined by mean and variance vectors. The supervisor module trains the encoder module to approximate the next time step closely in the latent space.