[論文レビュー] A Regressive Convolution Neural network and Support Vector Regression Model for Electricity Consumption Forecasting

Youshan Zhang, Qi Li|arXiv (Cornell University)|Oct 21, 2018

Energy Load and Power Forecasting参考文献 15被引用数 5

ひとこと要約

本論文は、特徴抽出に回帰的畳み込みニューラルネットワーク（RCNN）を、最終予測にサポートベクターレグレッション（SVR）を組み合わせたハイブリッドRCNN-SVRモデルを提案する。このモデルは、データが限られる鉱物会社における電力消費予測の精度を著しく向上させる。RCNN-SVRモデルは、比較対象のモデルの中で最小のMSE（0.8564）、MAPE（1.975%）、CV-RMSE（0.0687%）を達成しており、独立したRCNNと比較して計算コストも低減している。

ABSTRACT

Electricity consumption forecasting has important implications for the mineral companies on guiding quarterly work, normal power system operation, and the management. However, electricity consumption prediction for the mineral company is different from traditional electricity load prediction since mineral company electricity consumption can be affected by various factors (e.g., ore grade, processing quantity of the crude ore, ball milling fill rate). The problem is non-trivial due to three major challenges for traditional methods: insufficient training data, high computational cost and low prediction accu-racy. To tackle these challenges, we firstly propose a Regressive Convolution Neural Network (RCNN) to predict the electricity consumption. While RCNN still suffers from high computation overhead, we utilize RCNN to extract features from the history data and Regressive Support Vector Machine (SVR) trained with the features to predict the electricity consumption. The experimental results show that the proposed RCNN-SVR model achieves higher accuracy than using the traditional RNN or SVM alone. The MSE, MAPE, and CV-RMSE of RCNN-SVR model are 0.8564, 1.975%, and 0.0687% respectively, which illustrates the low predicting error rate of the proposed model.

研究の動機と目的

• 複雑な影響要因と限られた学習データという要因により、鉱物会社における電力消費予測の精度が低いという課題に対処する。
• RCNNなどのディープラーニングモデルが高コストな学習オーバーヘッドを抱えるのに対し、計算コストを低減する。
• RCNNの特徴抽出機能とSVRの回帰能力を統合することで、予測性能を向上させる。
• 産業的鉱物事業で一般的な非線形関係と小規模データセットを効果的に処理できる耐障害性の高いモデルを開発する。
• 四半期計画、電力システム管理、エネルギー戦略の分野における実用的な予測ソリューションを提供する。

提案手法

• 歴史的電力消費データおよび影響要因（IF）データから階層的かつ代表的な特徴を抽出するために、回帰的畳み込みニューラルネットワーク（RCNN）を採用する。
• RCNNの最終全結合層から抽出された特徴を、最終的な回帰予測の入力としてサポートベクターレグレッション（SVR）モデルに供給する。
• 中国遼寧省の鉱物会社から得た62か月分の実世界データ（2012年～2017年）を用いて、RCNN-SVRモデルをエンドツーエンドで学習する。
• より深い層からの特徴選択によりモデルを最適化する。深層部はより情報量の多い表現を生成するため、MSEの低減に寄与する。
• MSE、MAPE、CV-RMSE、学習時間などの指標を用いて、RCNN、SVR、MPSO-BP、DeepEnergyといったベースライン手法とRCNN-SVRモデルを比較する。
• モデルの安定性と収束性を確保するため、正規化および特徴スケーリングなどのデータ前処理技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 限られたデータ条件下で、ハイブリッドRCNN-SVRモデルは、独立したRCNNやSVRを上回る電力消費予測性能を示せるか？
• RQ2 RCNNにおける特徴抽出層の選択が、RCNN-SVRモデルの予測精度にどのように影響するか？
• RQ3 RCNN や DeepEnergy といったディープニューラルネットワークと比較して、RCNN-SVRモデルは計算コストをどの程度低減できるか？
• RQ4 RCNNの表現学習機能とSVRの一般化能力を統合することで、実際の産業データにおける予測精度が向上するか？
• RQ5 提案されたモデルは、特に需要が高まる時期に、鉱物会社における月次電力消費トレンドを効果的に予測できるか？

主な発見

• RCNN-SVRモデルは、全比較モデルの中で最小の平均二乗誤差（MSE）0.8564を達成しており、予測精度が最も高いことを示している。
• 平均絶対誤差率（MAPE）は1.975%であり、RCNN（2.1239%）、SVR（2.3341%）および他のベースラインと比較して顕著に低い。
• 標準誤差の変動係数（CV-RMSE）は0.0687%であり、全モデルの中で最小であり、高い精度と低い分散を確認している。
• RCNN-SVRモデルの推論に要する時間はわずか4.35秒であり、RCNN（221.74秒）、DeepEnergy（3758秒）、MPSO-BP（27.21秒）と比較して著しく短く、計算オーバーヘッドが低いことを示している。
• RCNNのより深い層からの特徴選択によりMSEが低減しており、これは後続の層が予測により特徴的で関連性の高いパターンを捉えていることを示している。
• モデルは2018年11月および12月に電力消費が上昇するトレンドを的確に予測しており、運用上の圧力指標と整合している。