[논문 리뷰] A Regressive Convolution Neural network and Support Vector Regression Model for Electricity Consumption Forecasting

Youshan Zhang, Qi Li|arXiv (Cornell University)|2018. 10. 21.

Energy Load and Power Forecasting참고 문헌 15인용 수 5

한 줄 요약

이 논문은 한정된 데이터를 가진 광물 기업에서 전력 소비 예측 정확도를 크게 향상시키기 위해 특징 추출에 회귀형 컨volution 신경망(RCNN)을 사용하고 최종 예측에 서포트 벡터 회귀(SVR)를 활용하는 하이브리드 RCNN-SVR 모델을 제안한다. RCNN-SVR 모델은 테스트된 모델들 중에서 가장 낮은 MSE(0.8564), MAPE(1.975%), CV-RMSE(0.0687%)를 기록했으며, 단독 RCNN에 비해 계산 비용도 감소시켰다.

ABSTRACT

Electricity consumption forecasting has important implications for the mineral companies on guiding quarterly work, normal power system operation, and the management. However, electricity consumption prediction for the mineral company is different from traditional electricity load prediction since mineral company electricity consumption can be affected by various factors (e.g., ore grade, processing quantity of the crude ore, ball milling fill rate). The problem is non-trivial due to three major challenges for traditional methods: insufficient training data, high computational cost and low prediction accu-racy. To tackle these challenges, we firstly propose a Regressive Convolution Neural Network (RCNN) to predict the electricity consumption. While RCNN still suffers from high computation overhead, we utilize RCNN to extract features from the history data and Regressive Support Vector Machine (SVR) trained with the features to predict the electricity consumption. The experimental results show that the proposed RCNN-SVR model achieves higher accuracy than using the traditional RNN or SVM alone. The MSE, MAPE, and CV-RMSE of RCNN-SVR model are 0.8564, 1.975%, and 0.0687% respectively, which illustrates the low predicting error rate of the proposed model.

연구 동기 및 목표

• 복잡한 영향 요인과 제한된 학습 데이터로 인해 전력 소비 예측 정확도가 낮은 광물 기업의 문제를 해결하기 위해.
• 높은 학습 오버헤드로 인해 비용이 많이 드는 RCNN과 같은 딥 러닝 모델에 비해 계산 비용을 줄이기 위해.
• RCNN의 특징 추출 능력과 SVR의 회귀 성능을 융합하여 예측 성능을 향상시키기 위해.
• 비선형 관계와 산업적 광물 운영에서 흔한 소규모 데이터셋을 효과적으로 다룰 수 있는 강건한 모델을 개발하기 위해.
• 분기 계획 수립, 전력 시스템 운영 및 에너지 전략 수립을 위한 실용적인 예측 솔루션을 제공하기 위해.

제안 방법

• 역추적형 컨volution 신경망(RCNN)을 사용하여 이전 전력 소비 및 영향 요인(IF) 데이터로부터 계층적이고 대표적인 특징을 추출한다.
• RCNN의 최종 완전 연결 층에서 추출한 특징을 서포트 벡터 회귀(SVR) 모델의 입력으로 사용하여 최종 회귀 예측을 수행한다.
• 중국 랴오닝성의 한 광물 기업으로부터 확보한 62개월 간의 실제 데이터(2012–2017년)를 사용하여 RCNN-SVR 모델을 엔드 투 엔드로 훈련시킨다.
• 더 깊은 층에서 추출된 특징을 선택함으로써 모델을 최적화한다. 깊이가 깊을수록 더 정보가 풍부한 표현을 제공하므로 MSE를 감소시킨다.
• MSE, MAPE, CV-RMSE, 훈련 시간 등의 지표를 사용하여 RCNN, SVR, MPSO-BP, DeepEnergy 등의 기준 모델과 RCNN-SVR 모델을 비교한다.
• 모델 안정성과 수렴성을 확보하기 위해 정규화 및 특징 스케일링 등의 데이터 전처리 기법을 적용한다.

실험 결과

연구 질문

• RQ1 한정된 데이터 조건에서 단독 RCNN 및 SVR에 비해 하이브리드 RCNN-SVR 모델이 전력 소비 예측 성능에서 뛰어나게 되는가?
• RQ2 RCNN의 특징 추출 층 선택이 RCNN-SVR 모델의 예측 정확도에 어떤 영향을 미치는가?
• RQ3 RCNN 및 DeepEnergy와 같은 심층 신경망에 비해 RCNN-SVR 모델은 계산 비용을 얼마나 줄이는가?
• RQ4 RCNN의 표현 학습 능력과 SVR의 일반화 능력을 융합함으로써 실생활 산업 데이터에서 예측 정확도가 향상되는가?
• RQ5 제안된 모델은 특히 고수요 기간 동안 광물 기업의 월간 전력 소비 추세를 효과적으로 예측할 수 있는가?

주요 결과

• RCNN-SVR 모델은 모든 테스트된 모델 중에서 가장 낮은 평균 제곱 오차(MSE)인 0.8564를 기록하여 최고의 예측 정확도를 확보했다.
• 모델은 평균 절대 퍼센트 오차(MAPE)가 1.975%로 기록되었으며, RCNN(2.1239%), SVR(2.3341%), 기타 기준 모델들보다 유의미하게 낮았다.
• 근미분 제곱 오차의 변동 계수(CV-RMSE)는 0.0687%로 모든 모델 중에서 가장 낮아 높은 정밀도와 낮은 분산을 확인했다.
• RCNN-SVR 모델은 추론에 단지 4.35초가 소요되었으며, RCNN(221.74 s), DeepEnergy(3758 s), MPSO-BP(27.21 s)에 비해 상당히 낮은 계산 오버헤드를 보였다.
• RCNN의 더 깊은 층에서 추출한 특징을 선택할 경우 MSE가 낮아지며, 이는 후행 층이 예측에 더 구분력 있고 관련성이 높은 패턴을 더 잘 포착한다는 것을 의미한다.
• 모델은 2018년 11월과 12월 동안 전력 소비 증가 추세를 성공적으로 예측했으며, 운영 압력 지표와 일치하는 결과를 보였다.