[论文解读] LoadCNN: A Low Training Cost Deep Learning Model for Day-Ahead Individual Residential Load Forecasting

Yunyou Huang, Nana Wang+5 more|arXiv (Cornell University)|Aug 1, 2019

Energy Load and Power Forecasting参考文献 25被引用 4

一句话总结

LoadCNN 是一种轻量级卷积神经网络模型，专为日前个体住宅负荷预测而设计，显著降低了训练成本。其在将训练时间减少 98.1%、能耗降低 97.8%、二氧化碳排放减少 97.8% 的同时，实现了最先进水平的预测精度。

ABSTRACT

Accurate day-ahead individual residential load forecasting is of great importance to various applications of smart grid on day-ahead market. Deep learning, as a powerful machine learning technology, has shown great advantages and promising application in load forecasting tasks. However, deep learning is a computationally-hungry method, and requires high costs (e.g., time, energy and CO2 emission) to train a deep learning model, which aggravates the energy crisis and incurs a substantial burden to the environment. As a consequence, the deep learning methods are difficult to be popularized and applied in the real smart grid environment. In this paper, we propose a low training cost model based on convolutional neural network, namely LoadCNN, for next-day load forecasting of individual resident with reduced training cost. The experiments show that the training time of LoadCNN is only approximately 1/54 of the one of other state-of-the-art models, and energy consumption and CO2 emissions are only approximate 1/45 of those of other state-of-the-art models based on the same indicators. Meanwhile, the prediction accuracy of our model is equal to that of current state-of-the-art models, making LoadCNN the first load forecasting model simultaneously achieving high prediction accuracy and low training costs. LoadCNN is an efficient green model that is able to be quickly, cost-effectively and environmentally-friendly deployed in a realistic smart grid environment.

研究动机与目标

• 解决现有深度学习模型在住宅负荷预测中训练计算成本和环境成本过高的问题。
• 开发一种在大幅降低训练时间、能耗和二氧化碳排放的同时，仍保持最先进预测精度的模型。
• 通过最小化资源消耗，实现深度学习在实际智能电网应用中的可行部署。
• 证明在不牺牲预测性能的前提下，可同时实现模型效率与精度。

提出的方法

• 提出一种专为个体住宅负荷预测而优化的轻量级 CNN 架构。
• 采用浅层高效网络结构，以最小化参数量和层数，降低训练复杂度。
• 通过卷积层从历史负荷数据中提取时间模式，无需深层堆叠。
• 通过系统性实验优化超参数和网络设计，以在精度与效率之间取得平衡。
• 在大规模智能电表数据集上训练模型，以确保在多样化住宅用电模式下的鲁棒性与泛化能力。
• 使用 RMSE、NRMSE 和 MAE 等标准指标，与最先进模型（如 LSTM、seq2seq、TCN）进行性能对比。

实验结果

研究问题

• RQ1 是否能够通过深度学习模型在大幅降低训练成本的同时，实现最先进水平的负荷预测精度？
• RQ2 模型架构的简化在多大程度上可降低训练时间、能耗和二氧化碳排放，而不会损害预测质量？
• RQ3 是否可以使用浅层 CNN 模型实现与更深的 RNN 或 Transformer 架构相当的高精度预测？
• RQ4 在住宅负荷预测中，不同深度学习模型的训练成本（时间、能耗、排放）如何变化？
• RQ5 在日前负荷预测任务中，模型深度对预测性能和训练效率有何影响？

主要发现

• LoadCNN 将训练时间缩短至最先进模型的约 1/54，实现 98.1% 的训练速度提升。
• 训练期间的能耗降低至同类模型的约 1/45，能源效率提升 97.8%。
• LoadCNN 的训练碳排放量仅为其他 SOTA 模型的约 1/45，相当于减少 97.8% 的碳排放。
• 尽管结构简单，LoadCNN 在 RMSE、NRMSE 和 MAE 指标上的预测精度与最佳性能模型相当。
• 更深层的模型（如 8 层 LSTM、seq2seq）表现更差，表明随着深度增加，收益递减且存在过拟合风险。
• 研究证实，仅通过增加架构深度或调整超参数无法有效提升精度；未来性能提升需依赖更丰富的输入特征（如人类活动数据）。