[논문 리뷰] An overview and comparative analysis of Recurrent Neural Networks for Short Term Load Forecasting

Filippo Maria Bianchi, Enrico Maiorino외 3명|arXiv (Cornell University)|2017. 05. 11.

Energy Load and Power Forecasting참고 문헌 112인용 수 186

한 줄 요약

이 논문은 합성 데이터와 실제 데이터 세트에서 테스트되고 실용적인 구성 지침과 함께 NARX, Echo State Networks, LSTM, GRU를 포함한 다양한 순환 신경망(RNN) 아키텍처의 단기 부하 예측(STLF)에 대한 포괄적 비교 연구를 제공합니다.

ABSTRACT

The key component in forecasting demand and consumption of resources in a supply network is an accurate prediction of real-valued time series. Indeed, both service interruptions and resource waste can be reduced with the implementation of an effective forecasting system. Significant research has thus been devoted to the design and development of methodologies for short term load forecasting over the past decades. A class of mathematical models, called Recurrent Neural Networks, are nowadays gaining renewed interest among researchers and they are replacing many practical implementation of the forecasting systems, previously based on static methods. Despite the undeniable expressive power of these architectures, their recurrent nature complicates their understanding and poses challenges in the training procedures. Recently, new important families of recurrent architectures have emerged and their applicability in the context of load forecasting has not been investigated completely yet. In this paper we perform a comparative study on the problem of Short-Term Load Forecast, by using different classes of state-of-the-art Recurrent Neural Networks. We test the reviewed models first on controlled synthetic tasks and then on different real datasets, covering important practical cases of study. We provide a general overview of the most important architectures and we define guidelines for configuring the recurrent networks to predict real-valued time series.

연구 동기 및 목표

• STLF에서 실수값 시계열 예측을 위한 최첨단 RNN 아키텍처를 조사하고 비교한다.
• 강건성과 일반화를 향상시키기 위한 학습 및 정규화 전략을 분석한다.
• STLF 작업에서 RNN을 구성하고 학습하기 위한 실용적인 지침을 제공한다.
• 합성 벤치마크와 실제 부하 데이터 세트 전반에 걸친 성능을 평가하여 강점과 한계를 식별한다.

제안 방법

• 표준 RNN 프레임워크를 도입하고 학습 도전과제 및 손실 함수에 대해 논의한다.
• 다섯 가지 아키텍처를 검토한다: Elman RNN, Long Short-Term Memory (LSTM), Gated Recurrent Units (GRU), NARX 신경망, 및 Echo State Networks (ESN).
• 시간 역전파(BPTT) 및 잘라내기 전략(BPTT(n,1), BPTT(2n,n))을 포함한 학습 절차를 설명한다.
• 정규화 접근 방식(L1, L2, elastic net, dropout)과 RNN에서의 적용성을 설명한다.
• 매개변수 업데이트 전략(SGD, momentum, Nesterov, Adagrad, RMSprop, Adam) 및 소실/발산 그래디언트에 대한 고려 사항을 제시한다.
• 소실/발산 그래디언트 문제 및 이를 완화하기 위한 기법(초기화, 활성화 선택, 정규화)을 논의한다.

실험 결과

연구 질문

• RQ1 다른 RNN 아키텍처들(Elman, LSTM/GRU, NARX, ESN)이 단기 부하 예측 작업에서 어떻게 성능을 발휘하는가?
• RQ2 실수값 STLF 시계열에서 강건한 성능을 얻기 위한 학습 전략 및 정규화 방법은 무엇인가?
• RQ3 실제 STLF 데이터세트에 RNN을 적용할 때 가장 효과적인 전처리 및 데이터 처리 단계는 무엇인가?
• RQ4 합성 및 실제 데이터세트 전반에서 STLF를 위해 RNN을 구성하기 위한 지침은 무엇인가?

주요 결과

• RNN 아키텍처는 STLF 작업에서 전통적인 정적 모델에 비해 장기 의존성을 모델링하는 표현 능력을 제공합니다.
• NARX 네트워크와 ESN은 STLF 맥 context에서 다른 RNN 변형을 보완하는 유리한 학습 특성을 제공합니다.
• 시간 역전파는 적절한 잘라내기(BPTT(2n,n))가 포함될 때 학습 시간을 줄이면서도 경쟁력 있는 성능을 달성할 수 있습니다.
• 정규화 전략(엘라스틱 넷, 재발현 공유(dropout))은 실수값 시계열에 대한 RNN의 일반화를 향상시킵니다.
• 적응형 학습률 방법(Adam, RMSprop) 및 모멘텀 기반 업데이트는 STLF를 위한 RNN 학습에 효과적입니다.
• 이 논문은 STLF에서 실수값 시계열을 예측하기 위한 RNN 구성에 대한 실용적인 지침을 제공하며, 데이터 전처리 고려사항을 포함합니다.