[論文レビュー] Smart Home Energy Management: VAE-GAN synthetic dataset generator and Q-learning

Mina Razghandi, Hao Zhou+2 more|arXiv (Cornell University)|May 14, 2023

Building Energy and Comfort Optimization被引用数 4

ひとこと要約

本稿では、スマートホームのエネルギー消費、太陽光発電、EV充電を含む高精細な合成時系列データを生成するVAE-GANフレームワークを提案する。Q学習に基づくHEMSを訓練する際に、合成データを用いることで、GAN や GMM で生成されたデータを用いたモデルを上回る性能を達成し、オンラインでほぼ最適な性能を発揮する。VAE-GANアプローチは、実データと比較して優れた統計的類似性を示し、エネルギー貯蔵容量が異なる状況下でも、より高い実世界での利益をもたらす。

ABSTRACT

Recent years have noticed an increasing interest among academia and industry towards analyzing the electrical consumption of residential buildings and employing smart home energy management systems (HEMS) to reduce household energy consumption and costs. HEMS has been developed to simulate the statistical and functional properties of actual smart grids. Access to publicly available datasets is a major challenge in this type of research. The potential of artificial HEMS applications will be further enhanced with the development of time series that represent different operating conditions of the synthetic systems. In this paper, we propose a novel variational auto-encoder-generative adversarial network (VAE-GAN) technique for generating time-series data on energy consumption in smart homes. We also explore how the generative model performs when combined with a Q-learning-based HEMS. We tested the online performance of Q-learning-based HEMS with real-world smart home data. To test the generated dataset, we measure the Kullback-Leibler (KL) divergence, maximum mean discrepancy (MMD), and the Wasserstein distance between the probability distributions of the real and synthetic data. Our experiments show that VAE-GAN-generated synthetic data closely matches the real data distribution. Finally, we show that the generated data allows for the training of a higher-performance Q-learning-based HEMS compared to datasets generated with baseline approaches.

研究の動機と目的

• 機械学習モデルの訓練に適した、公開可能で高品質なスマートホームエネルギーデータセットの不足を解決すること。
• 時間的ダイナミクスと多様な家庭負荷を捉える、スケーラブルでデータ駆動型のリアルな時系列エネルギー消費データ生成手法を開発すること。
• VAE-GANで生成された合成データが、実世界の展開を想定したQ学習ベースのHEMSの訓練に有効に機能するかを評価すること。
• 実データベースラインと比較して、VAE-GAN、ヴァニラGAN、GMMで生成された合成データを用いて訓練されたHEMSの性能を比較すること。
• 合成データをスマートホームエネルギー管理システムに活用する際の実現可能性、スケーラビリティ、経済的利点を評価すること。

提案手法

• VAE-GANアーキテクチャを用いて、スマートホームエネルギー消費、太陽光発電、EV充電の合成時系列データを生成し、VAEの分離された潜在空間とGANの生成能力を統合する。
• 個々のデバイスや行動の事前モデリングを必要とせず、実世界のスマートメーター記録データをエンドツーエンドで訓練することで、複雑な非線形な時間的パターンを学習する。
• 実データと合成データの分布的類似性を評価するために、統計的指標（Kullback–Leibler拡散、最大平均差（MMD）、Wasserstein距離）を用いる。
• 合成データセットを用いて、エネルギー貯蔵と需要応答意思決定を通じて長期的なエネルギー費用削減と利益を最適化するQ学習ベースのHEMSをオフラインで訓練する。
• 訓練済みのHEMSエージェントを、実世界データを用いてオンラインで評価し、1日あたりの利益と学習の安定性という観点から性能を測定する。
• データ生成にGANおよびガウス・ミックスチャネル・モデル（GMM）を用いたベースラインモデルと比較し、エネルギー貯蔵システム（ESS）の容量を変化させた状況下で性能を評価する。

Figure 1 : Overall architecture of the proposed scheme

実験結果

リサーチクエスチョン

• RQ1 VAE-GANモデルは、実世界データの統計的および時間的分布に近い合成スマートホームエネルギー消費データを生成できるか？
• RQ2 VAE-GANで生成された合成データを用いて訓練されたQ学習ベースのHEMSの性能は、実データや他の合成データ生成手法を用いた場合と比較してどうなるか？
• RQ3 合成データの品質が、HEMSエージェントの実世界でのオンライン性能に顕著に影響を与えるか？
• RQ4 エネルギー貯蔵システム（ESS）の容量が、異なる合成データソースを用いて訓練されたHEMSエージェントの相対的性能にどのように影響を与えるか？
• RQ5 VAE-GANベースの合成データパイプラインを実世界のスマートホームエネルギー管理に展開する際のスケーラビリティ、管理コスト、経済的妥当性は何か？

主な発見

• VAE-GANで生成された合成データは、実データとの間で最小のKullback–Leibler拡散（0.02）、MMD（0.01）、Wasserstein距離（0.03）を達成し、優れた統計的整合性を示した。
• VAE-GANの合成データを用いて訓練されたHEMSは、全ESS容量において最高の平均オンライン利益を達成し、GANおよびGMMで生成されたデータを用いたモデルを上回った。
• 40日間のオンラインテストにおいて、VAE-GANベースのHEMSはほとんどの日で実データベースラインと同等の利益を達成し、ESS容量が増加するにつれて差が縮小した。
• VAE-GANデータを用いて訓練されたQ学習エージェントは、探索フェーズ後、安定した収束を示し、合成データからの信頼性の高い学習が可能であることを示した。
• 提案手法は、システム構成が変更された際には新しいデータセットで再トレーニングするのみで済むことから、高いスケーラビリティと低い管理コストを示した。
• VAE-GANベースのHEMSの経済的利点は、スマートビルやコミュニティなど大規模な展開において最も顕著であり、エネルギー価格差益と需要応答の改善に起因する。

Figure 2 : VAE-GAN model architecture. In this network, the encoder module encodes the input sequence as a Gaussian distribution over the latent space, defined by mean and variance vectors. The supervisor module trains the encoder module to approximate the next time step closely in the latent space.