[論文レビュー] LoadCNN: A Low Training Cost Deep Learning Model for Day-Ahead Individual Residential Load Forecasting

Yunyou Huang, Nana Wang+5 more|arXiv (Cornell University)|Aug 1, 2019

Energy Load and Power Forecasting参考文献 25被引用数 4

ひとこと要約

LoadCNN は、訓練コストを大幅に削減した軽量な畳み込みニューラルネットワークモデルであり、1日先の個別住宅用負荷予測を目的として設計されている。従来の深層学習モデルと比較して、トレーニング時間は98.1%短縮され、エネルギー消費量は97.8%削減され、CO₂排出量も97.8%削減される一方で、最先端の予測精度を達成している。

ABSTRACT

Accurate day-ahead individual residential load forecasting is of great importance to various applications of smart grid on day-ahead market. Deep learning, as a powerful machine learning technology, has shown great advantages and promising application in load forecasting tasks. However, deep learning is a computationally-hungry method, and requires high costs (e.g., time, energy and CO2 emission) to train a deep learning model, which aggravates the energy crisis and incurs a substantial burden to the environment. As a consequence, the deep learning methods are difficult to be popularized and applied in the real smart grid environment. In this paper, we propose a low training cost model based on convolutional neural network, namely LoadCNN, for next-day load forecasting of individual resident with reduced training cost. The experiments show that the training time of LoadCNN is only approximately 1/54 of the one of other state-of-the-art models, and energy consumption and CO2 emissions are only approximate 1/45 of those of other state-of-the-art models based on the same indicators. Meanwhile, the prediction accuracy of our model is equal to that of current state-of-the-art models, making LoadCNN the first load forecasting model simultaneously achieving high prediction accuracy and low training costs. LoadCNN is an efficient green model that is able to be quickly, cost-effectively and environmentally-friendly deployed in a realistic smart grid environment.

研究の動機と目的

• 住宅用負荷予測のための深層学習モデルの高い計算コストと環境的負荷を軽減すること。
• トレーニング時間、エネルギー使用量、CO₂排出量を大幅に削減しながら、最先端の予測精度を維持するモデルを開発すること。
• リソース消費を最小限に抑えることで、実世界のスマートグリッド応用における深層学習の実用的導入を可能にすること。
• モデルの効率性と精度を、予測性能を損なわせることなく同時に達成できることを示すこと。

提案手法

• 個別住宅用負荷予測に特化した、軽量なCNNベースのアーキテクチャを提案する。
• パラメータ数とレイヤー数を最小限に抑えることで、トレーニングの複雑さを軽減するための浅い効率的なネットワーク構造を採用する。
• 深層スタックを必要とせずに、履歴負荷データからの時間的パターンを抽出するために畳み込み層を適用する。
• 精度と効率のバランスを図るために、体系的な実験を通じてハイパーパramータとネットワーク設計を最適化する。
• 多様な住宅消費パターンにわたる頑健性と一般化性能を保証するため、大規模なスマートメーター・データセット上でモデルをトレーニングする。
• 標準的な指標（RMSE、NRMSE、MAE）を用いて、SOTAモデル（例：LSTM、seq2seq、TCN）と性能をベンチマーク比較する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルが、トレーニングコストを大幅に削減しながらも、最先端の負荷予測精度を達成できるか。
• RQ2 モデルアーキテクチャの単純化が、予測品質に悪影響を及げることなく、トレーニング時間、エネルギー消費量、CO₂排出量をどの程度削減できるか。
• RQ3 より深いRNNやトランスフォーマー基盤のアーキテクチャに代えて、浅いCNNベースのモデルでも高い予測精度を維持できるか。
• RQ4 住宅用負荷予測におけるさまざまな深層学習モデルのトレーニングコスト（時間、エネルギー、排出量）は、どのようにスケーリングされるか。
• RQ5 1日先の負荷予測タスクにおいて、モデルの深さは予測性能とトレーニング効率にどのような影響を及えるか。

主な発見

• LoadCNN は、SOTAモデル比で約1/54のトレーニング時間にまで短縮され、98.1%の高速化を達成した。
• トレーニング中のエネルギー消費量は、同等のモデル比で約1/45にまで削減され、エネルギー効率が97.8%向上した。
• LoadCNN のトレーニングに伴うCO₂排出量は、他のSOTAモデル比で約1/45にまで低下し、排出量削減効果が97.8%に達した。
• 構造の単純さにもかかわらず、RMSE、NRMSE、MAEの観点から、最も優れた性能を示すモデルと同等の予測精度を達成した。
• より深いモデル（例：8層LSTM、seq2seq）は、性能が悪化する傾向にあり、深さの増加に伴う利得の逓減と過学習リスクが顕在した。
• 本研究は、単にアーキテクチャの深さやハイパーパramータチューニングを改善するだけでは精度向上が不十分であることを確認した。今後の向上には、人間の行動データなどのより豊富な入力特徴量の導入が不可欠である。