[논문 리뷰] ES-dRNN: A Hybrid Exponential Smoothing and Dilated Recurrent Neural Network Model for Short-Term Load Forecasting

Slawek Smyl, Grzegorz Dudek외 1명|arXiv (Cornell University)|2021. 12. 05.

Energy Load and Power Forecasting인용 수 7

한 줄 요약

이 논문은 단기 부하 예측(STLF) 정확도를 향상시키기 위해 지수평활법(ES)과 확장된 순환신경망(dRNN)을 조합한 하이브리드 모델인 ES-dRNN을 제안한다. ES 구성요소와 RNN 파라미터를 함께 학습시켜 다중 계절성, 비선형 추세, 장단기 의존성을 효과적으로 포착하며, 35개 유럽 국가의 데이터에서 통계적 및 기계학습 기반 모델보다 우수한 점 예측과 예측 구간(PIs) 성능을 보였다.

ABSTRACT

Short-term load forecasting (STLF) is challenging due to complex time series (TS) which express three seasonal patterns and a nonlinear trend. This paper proposes a novel hybrid hierarchical deep learning model that deals with multiple seasonality and produces both point forecasts and predictive intervals (PIs). It combines exponential smoothing (ES) and a recurrent neural network (RNN). ES extracts dynamically the main components of each individual TS and enables on-the-fly deseasonalization, which is particularly useful when operating on a relatively small data set. A multi-layer RNN is equipped with a new type of dilated recurrent cell designed to efficiently model both short and long-term dependencies in TS. To improve the internal TS representation and thus the model's performance, RNN learns simultaneously both the ES parameters and the main mapping function transforming inputs into forecasts. We compare our approach against several baseline methods, including classical statistical methods and machine learning (ML) approaches, on STLF problems for 35 European countries. The empirical study clearly shows that the proposed model has high expressive power to solve nonlinear stochastic forecasting problems with TS including multiple seasonality and significant random fluctuations. In fact, it outperforms both statistical and state-of-the-art ML models in terms of accuracy.

연구 동기 및 목표

• 다중 계절성, 비선형 추세, 높은 변동성을 가지는 복잡한 시계열 자료를 바탕으로 단기 부하 예측(STLF) 문제를 해결한다.
• 선형이면서 동적 계절 패턴과 비선형성에 취약한 전통적 통계 모델의 한계를 극복한다.
• 해석 가능한 지수평활법과 딥러닝을 융합함으로써 일반화 능력과 불확실성 정량화 능력을 향상시켜 표준 기계학습 모델을 초월한다.
• 사전 처리 없이 원시 시계열을 처리할 수 있는 통합 아키텍처를 개발하여 추세, 계절성, 예측 매핑을 종합적으로 엔드 투 엔드로 학습한다.
• 제어된 커버리지로 함께 제공되는 점 예측과 예측 구간(PIs)을 생성함으로써 에너지 시장 참가자들에게 실용적인 유용성을 제공한다.

제안 방법

• 원시 시계열에서 추세, 수준, 계절성 구성요소를 동적으로 추출하기 위해 지수평활법(ES)을 계층적 구성요소로 통합한다.
• 장기 의존성을 효율적으로 모델링하면서도 단기 반응성을 유지하기 위해 새로운 확장된 순환 셀(dRNN)을 설계한다.
• 다중 시간 스케일에서 표현 학습 능력을 향상시키기 위해 다중 dRNN 레이어를 스택한다.
• 세 가지 구성요소로 이루어진 파arametrized 손실 함수를 사용하여 ES 파라미터와 RNN 매핑 함수를 함께 최적화함으로써 전체 모델을 엔드 투 엔드로 훈련시킨다.
• 일요일, 공휴일 등 일일 및 주간 패턴 모델링을 향상시키기 위해 캘린더 기능(예: 요일, 공휴일)을 임베딩을 통해 통합한다.
• 추가적인 하이퍼파ram터 튜닝 없이 랜덤 가중치 초기화를 통한 앙상블을 활용하여 성능을 향상시키고, 정확도 및 강인성을 높인다.

실험 결과

연구 질문

• RQ1 지수평활법과 확장된 RNN을 융합한 하이브리드 아키텍처가 단기 부하 예측에서 최신 통계 및 기계학습 모델을 능가할 수 있는가?
• RQ2 제안된 확장된 순환 셀이 전기 부하 시계열에서 단기 및 장기 의존성을 얼마나 효과적으로 포착하는가?
• RQ3 ES 구성요소와 신경망 가중치를 함께 학습시키는 것이 예측 정확도 및 불확실성 정량화에 얼마나 기여하는가?
• RQ4 모델은 제어된 커버리지로 신뢰할 수 있는 예측 구간(PIs)을 생성할 수 있는가 同시에 높은 점 예측 정확도를 유지하는가?
• RQ5 다양한 부하 패턴과 계절 행동을 보이는 유럽 국가들 간에 모델이 잘 일반화되는가?

주요 결과

• ES-dRNN 모델은 35개 유럽 국가의 단기 부하 예측 과제에서 MAPE, MdAPE, RMSE 측정치에서 모든 기준 모델을 뛰어넘는 성능을 보였다.
• 앙상블 버전의 ES-dRNN은 개별 모델 대비 MAPE를 5.51% 감소시키고, MdAPE는 6.05%, RMSE는 5.86% 감소시켜 모델 앙상블의 이점을 입증했다.
• 제거 실험(Ablation study) 결과, ES 구성요소(Ab1), 캘린더 임베딩(Ab10), 확장된 입력 특징(Ab9)이 성능 향상에 가장 중요한 요소로 확인되었다.
• 모든 변환 과정이 내부적으로 학습되기 때문에, 분해나 정상성 처리 등의 데이터 사전 처리가 필요로 하지 않아도 높은 정확도를 달성했다.
• 모델은 제어된 커버리지로 신뢰할 수 있는 예측 구간(PIs)을 성공적으로 생성하여 사용자에게 유용한 불확실성 추정치를 점 예측과 함께 제공했다.
• 약 229K개의 파라미터와 다수의 하이퍼파ram터를 가짐에도 불구하고, GPU 없이 표준 데스크톱 컴퓨터에서 훈련이 가능했으며, 모델당 1시간 이내에 완료되었다.