[논문 리뷰] LoadCNN: A Low Training Cost Deep Learning Model for Day-Ahead Individual Residential Load Forecasting

Yunyou Huang, Nana Wang외 5명|arXiv (Cornell University)|2019. 08. 01.

Energy Load and Power Forecasting참고 문헌 25인용 수 4

한 줄 요약

LoadCNN는 일일 예측을 위한 개인 주거용 부하 예측을 위해 설계된 경량형 컨volutional 신경망 모델로, 훈련 비용을 크게 줄였다. 기존의 딥러닝 모델들과 비교해 훈련 시간을 98.1% 감소시키고, 에너지 소비를 97.8% 감소시키며, CO₂ 배출량도 97.8% 감소시켰다. 이와 동시에 최신 기술 수준의 예측 정확도를 확보했다.

ABSTRACT

Accurate day-ahead individual residential load forecasting is of great importance to various applications of smart grid on day-ahead market. Deep learning, as a powerful machine learning technology, has shown great advantages and promising application in load forecasting tasks. However, deep learning is a computationally-hungry method, and requires high costs (e.g., time, energy and CO2 emission) to train a deep learning model, which aggravates the energy crisis and incurs a substantial burden to the environment. As a consequence, the deep learning methods are difficult to be popularized and applied in the real smart grid environment. In this paper, we propose a low training cost model based on convolutional neural network, namely LoadCNN, for next-day load forecasting of individual resident with reduced training cost. The experiments show that the training time of LoadCNN is only approximately 1/54 of the one of other state-of-the-art models, and energy consumption and CO2 emissions are only approximate 1/45 of those of other state-of-the-art models based on the same indicators. Meanwhile, the prediction accuracy of our model is equal to that of current state-of-the-art models, making LoadCNN the first load forecasting model simultaneously achieving high prediction accuracy and low training costs. LoadCNN is an efficient green model that is able to be quickly, cost-effectively and environmentally-friendly deployed in a realistic smart grid environment.

연구 동기 및 목표

• 주거용 부하 예측을 위한 딥러닝 모델 훈련의 높은 계산 비용과 환경적 영향을 해결하기 위해.
• 훈련 시간, 에너지 사용량, CO₂ 배출량을 극적으로 줄이면서도 최신 기술 수준의 예측 정확도를 유지하는 모델을 개발하기 위해.
• 자원 소비를 최소화함으로써 실생활 스마트 그리드 응용 분야에서 딥러닝의 실용적 구현을 가능하게 하기 위해.
• 예측 성능을 희생시키지 않고도 모델의 효율성과 정확도를 동시에 달성할 수 있음을 입증하기 위해.

제안 방법

• 개별 주거용 부하 예측에 특화된 경량형 CNN 기반 아키텍처를 제안한다.
• 파rameter 수와 층 수를 최소화하기 위해 얕고 효율적인 네트워크 구조를 사용하여 훈련 복잡도를 낮춘다.
• 깊이 있는 스태킹이 필요 없이도 역사적 부하 데이터에서 시간적 패턴을 추출하기 위해 컨volutional 레이어를 적용한다.
• 정확도와 효율성의 균형을 이루기 위해 체계적인 실험을 통해 하이퍼파ram터와 네트워크 설계를 최적화한다.
• 다양한 주거 소비 패턴에 대한 강건성과 일반화 능력을 확보하기 위해 대규모 스마트 미터 데이터셋을 기반으로 모델을 훈련시킨다.
• 표준 평가 지표인 RMSE, NRMSE, MAE를 사용해 SOTA 모델들(예: LSTM, seq2seq, TCN)과의 성능을 비교 분석한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 훈련 비용을 극적으로 줄이면서도 최신 기술 수준의 부하 예측 정확도를 달성할 수 있는가?
• RQ2 모델 아키텍처의 단순화가 예측 품질에 영향을 주지 않으면서도 훈련 시간, 에너지 소비, CO₂ 배출량을 얼마나 줄일 수 있는가?
• RQ3 더 깊은 RNN 또는 트랜스포머 기반 아키텍처 대신 얕은 CNN 기반 모델로도 높은 예측 정확도를 유지할 수 있는가?
• RQ4 주거용 부하 예측 분야에서 다양한 딥러닝 모델의 훈련 비용(시간, 에너지, 배출량)은 어떻게 변화하는가?
• RQ5 모델의 깊이가 일일 부하 예측 작업에서 예측 성능과 훈련 효율성에 어떤 영향을 미치는가?

주요 결과

• LoadCNN는 SOTA 모델 대비 훈련 시간을 약 1/54로 줄여 98.1% 빠른 훈련을 달성했다.
• 훈련 중 에너지 소비는 유사 모델 대비 약 1/45로 줄어들어 에너지 효율성에서 97.8% 향상되었다.
• LoadCNN의 훈련으로 인한 CO₂ 배출량은 다른 SOTA 모델 대비 약 1/45 수준이며, 이는 97.8% 감소한 셈이다.
• 간단한 구조임에도 불구하고 RMSE, NRMSE, MAE 기준으로 최고 성능을 내는 모델들과 동등한 예측 정확도를 확보했다.
• 더 깊은 모델들(예: 8층 LSTM, seq2seq)은 성능이 열악했으며, 깊이가 증가함에 따라 수익 감소와 과적합 위험이 증가함을 시사했다.
• 모델의 정확도 향상을 위해 단순히 아키텍처 깊이나 하이퍼파ram터 튜닝만으로는 효과가 없음을 확인했으며, 향후 성능 향상을 위해서는 인간 활동 데이터와 같은 richer 입력 특징이 필요하다.