[论文解读] A Regressive Convolution Neural network and Support Vector Regression Model for Electricity Consumption Forecasting

Youshan Zhang, Qi Li|arXiv (Cornell University)|Oct 21, 2018

Energy Load and Power Forecasting参考文献 15被引用 5

一句话总结

本文提出了一种混合RCNN-SVR模型，将用于特征提取的回归卷积神经网络（RCNN）与用于最终预测的支持向量回归（SVR）相结合，在数据有限的选矿企业中显著提升了电力消费预测的准确性。RCNN-SVR模型在所有测试模型中实现了最低的均方误差（MSE，0.8564）、平均绝对百分比误差（MAPE，1.975%）和变异系数均方根误差（CV-RMSE，0.0687%），同时相比独立的RCNN模型，计算成本更低。

ABSTRACT

Electricity consumption forecasting has important implications for the mineral companies on guiding quarterly work, normal power system operation, and the management. However, electricity consumption prediction for the mineral company is different from traditional electricity load prediction since mineral company electricity consumption can be affected by various factors (e.g., ore grade, processing quantity of the crude ore, ball milling fill rate). The problem is non-trivial due to three major challenges for traditional methods: insufficient training data, high computational cost and low prediction accu-racy. To tackle these challenges, we firstly propose a Regressive Convolution Neural Network (RCNN) to predict the electricity consumption. While RCNN still suffers from high computation overhead, we utilize RCNN to extract features from the history data and Regressive Support Vector Machine (SVR) trained with the features to predict the electricity consumption. The experimental results show that the proposed RCNN-SVR model achieves higher accuracy than using the traditional RNN or SVM alone. The MSE, MAPE, and CV-RMSE of RCNN-SVR model are 0.8564, 1.975%, and 0.0687% respectively, which illustrates the low predicting error rate of the proposed model.

研究动机与目标

• 解决由于复杂影响因素和有限训练数据导致的选矿企业电力消费预测精度低的问题。
• 相比RCNN等深度学习模型，降低计算成本，后者存在较高的训练开销。
• 通过整合RCNN的特征提取能力与SVR的回归能力，提升预测性能。
• 构建一个能够处理非线性关系和工业选矿作业中典型的小样本数据的稳健模型。
• 为季度规划、电力系统管理及能源战略提供实用的预测解决方案。

提出的方法

• 采用回归卷积神经网络（RCNN）从历史电力消费数据及影响因素（IF）数据中提取分层的、具有代表性的特征。
• 将RCNN最后一层全连接层提取的特征作为输入，输入至支持向量回归（SVR）模型中进行最终回归预测。
• 使用中国辽宁某选矿企业2012–2017年共62个月的真实世界数据，对RCNN-SVR模型进行端到端训练。
• 通过选择RCNN更深层的特征来优化模型，因为深层特征能提供更具信息量的表征，从而降低MSE。
• 将RCNN-SVR模型与基线方法（RCNN、SVR、MPSO-BP和DeepEnergy）进行比较，采用MSE、MAPE、CV-RMSE和训练时间等指标。
• 应用数据预处理技术，包括归一化和特征缩放，以确保模型的稳定性和收敛性。

实验结果

研究问题

• RQ1 在数据有限的条件下，混合RCNN-SVR模型是否能优于独立的RCNN和SVR模型？
• RQ2 RCNN中特征提取层的选择如何影响RCNN-SVR模型的预测精度？
• RQ3 与RCNN和DeepEnergy等深度神经网络相比，RCNN-SVR模型在多大程度上降低了计算成本？
• RQ4 将RCNN的表征学习能力与SVR的泛化能力相结合，是否能提升真实工业数据上的预测精度？
• RQ5 所提出的模型能否有效预测选矿企业月度电力消费趋势，尤其是在高需求期间？

主要发现

• RCNN-SVR模型在所有测试模型中实现了最低的均方误差（MSE，0.8564），表明其预测精度最高。
• 该模型的平均绝对百分比误差（MAPE）为1.975%，显著低于RCNN（2.1239%）、SVR（2.3341%）及其他基线模型。
• 变异系数均方根误差（CV-RMSE）为0.0687%，在所有模型中最小，证实了其高精度和低方差。
• RCNN-SVR模型的推理时间仅需4.35秒，远低于RCNN（221.74秒）、DeepEnergy（3758秒）和MPSO-BP（27.21秒），表明其计算开销极低。
• 从RCNN的深层提取特征可降低MSE，表明深层网络捕捉到了更具判别性和相关性的预测模式。
• 该模型成功预测了2018年11月和12月电力消费的上升趋势，与运行压力指标一致。