[논문 리뷰] Pattern-based Long Short-term Memory for Mid-term Electrical Load Forecasting

Paweł Pełka, Grzegorz Dudek|arXiv (Cornell University)|2020. 04. 22.

Energy Load and Power Forecasting참고 문헌 27인용 수 4

한 줄 요약

이 논문은 x-패턴을 사용하여 추세를 제거하고 분산을 안정화시켜 비선형성과 비 stationary성을 가진 시계열을 단순화함으로써 중기 전력 수요 예측을 위한 패턴 기반 Long Short-Term Memory (LSTM) 모델을 제안한다. 하이브리드 LSTMx 모델은 순서 기반 LSTM을 통해 패턴을 예측하고, 지수 평균화를 통해 코딩 변수를 예측하여 표준 LSTM 및 고전적 모델보다 35개 유럽 국가의 12개월 예측 기간 동안 뛰어난 정확도를 달성한다.

ABSTRACT

This work presents a Long Short-Term Memory (LSTM) network for forecasting a monthly electricity demand time series with a one-year horizon. The novelty of this work is the use of pattern representation of the seasonal time series as an alternative to decomposition. Pattern representation simplifies the complex nonlinear and nonstationary time series, filtering out the trend and equalizing variance. Two types of patterns are defined: x-pattern and y-pattern. The former requires additional forecasting for the coding variables. The latter determines the coding variables from the process history. A hybrid approach based on x-patterns turned out to be more accurate than the standard LSTM approach based on a raw time series. In this combined approach an x-pattern is forecasted using a sequence-to-sequence LSTM network and the coding variables are forecasted using exponential smoothing. A simulation study performed on the monthly electricity demand time series for 35 European countries confirmed the high performance of the proposed model and its competitiveness to classical models such as ARIMA and exponential smoothing as well as the MLP neural network model.

연구 동기 및 목표

• 복잡한 비선형성과 비 stationary 시계열을 단순화시켜 중기 전력 수요 예측 정확도를 향상시키기 위해.
• 원시 시계열이 LSTM 모델에서 가지는 한계를 극복하기 위해 추세를 제거하고 분산을 균일하게 만드는 패턴 기반 전처리 방법을 제안하기 위해.
• x-패턴과 y-패턴이라는 두 가지 패턴 유형을 개발하고 평가하기 위해. 이 중 x-패턴은 코딩 변수의 별도 예측이 필요하다.
• 제안된 패턴 기반 LSTM 모델의 성능을 표준 LSTM, ARIMA, 지수 평균화, MLP 모델과 비교하기 위해.
• 앙상블 학습이 예측의 안정성과 오차 감소에 미치는 영향을 평가하기 위해.

제안 방법

• 이 방법은 원시 시계열의 정규화된 계절적 부분 시퀀스인 x-패턴을 사용하여 추세를 제거하고 분산을 안정화시킴으로써 예측을 단순화한다.
• x-패턴 접근법에서는 순서 기반 LSTM 네트워크가 패턴 시퀀스를 예측하고, 지수 평균화가 재구성에 사용될 코딩 변수(예: 수준 및 추세)를 예측한다.
• y-패턴 접근법은 이전 연도의 패턴에서 코딩 변수를 도출함으로써 시간적 의존성을 도입하여 학습을 복잡하게 만든다.
• 최종 예측은 예측된 패턴에 현재의 추세와 분산을 재적용하여 원래 척도로 복원함으로써 재구성된다.
• 모델 앙상블은 100개의 독립적인 학습 실행 결과의 평균을 취하여 정확도를 향상시키고 오차를 감소시킨다.
• 모델은 12개월 예측 기간 동안 35개 유럽 국가의 월간 전력 수요 데이터를 기반으로 평가된다.

실험 결과

연구 질문

• RQ1 패턴 기반 전처리 방법이 중기 전력 수요 예측에 있어 LSTM 모델의 정확도를 향상시킬 수 있는가?
• RQ2 패턴과 코딩 변수 예측을 분리하는 x-패턴 접근법이 y-패턴 접근법에 비해 정확도와 안정성 측면에서 어떻게 다른가?
• RQ3 순서 기반 LSTM과 지수 평균화를 조합한 하이브리드 LSTMx 모델이 표준 LSTM 및 고전적 통계 모델을 초월하는가?
• RQ4 모델 앙상블이 제안된 프레임워크에서 예측 오차를 얼마나 줄이고 안정성을 향상시키는가?
• RQ5 실제로 유럽 전력 수요 데이터에 대해 제안된 모델이 ARIMA, 지수 평균화 및 MLP 모델에 비해 어떻게 성능을 내는가?

주요 결과

• x-패턴을 사용하고 하이브리드 예측 접근법을 적용한 LSTMx 모델은 모든 LSTM 변종 중에서 가장 낮은 MAPE(4.99%)를 기록하여 표준 LSTM 및 LSTMy를 능가했다.
• LSTMx 앙상블 모델은 중앙값APE를 3.01%로 낮추고 MAPE를 4.99%로 유지하여 100개의 독립적 학습 실행 결과의 평균을 통해 오차 감소 효과를 입증했다.
• 국가별 예측 결과, LSTMx 앙상블은 폴란드에서 MAPE 1.79%, 독일에서 MAPE 1.60%를 기록하여 다른 모델보다 뛰어난 성능을 보였다.
• LSTMy 모델은 코딩 변수 추정이 지연되어 시계열이 손상되고 오차가 증가하여 LSTMx보다 성능이 열 劣했다.
• 제안된 패턴 기반 접근법은 시계열을 더 규칙적이고 정규화된 계절 패턴으로 단순화시킴으로써 LSTM 성능을 크게 향상시켰다.
• 결과적으로 LSTMx 모델는 특히 연간 후반에 두드러진 개선 효과를 보이며 지수 평균화 및 MLP와 같은 고전적 모델들과 경쟁 가능했다.