[논문 리뷰] Short Term Load Forecasting Using Deep Neural Networks

Faisal Mohammad, Ki Boem Lee외 1명|arXiv (Cornell University)|2018. 11. 08.

Energy Load and Power Forecasting참고 문헌 11인용 수 8

한 줄 요약

이 논문은 뉴욕독립계전운영자(NYISO) 데이터를 사용하여 피드포워드(딥-FNN) 및 순환(딥-RNN) 아키텍처를 활용한 딥뉴럴넷(DNN) 기반 단기 전력 수요 예측 시스템을 제안한다. 시그모이드, 탄젠트(hyperbolic tangent, tanh), 그리고 ReLU 활성화 함수를 평가하여, ReLU 기반의 딥-RNN이 비선형성과 동적인 전력 그리드 수요 패턴을 처리하는 데 있어 가장 낮은 MAPE 2.14%를 기록하며 다른 설정들보다 뛰어난 성능을 보였다.

ABSTRACT

Electricity load forecasting plays an important role in the energy planning such as generation and distribution. However, the nonlinearity and dynamic uncertainties in the smart grid environment are the main obstacles in forecasting accuracy. Deep Neural Network (DNN) is a set of intelligent computational algorithms that provide a comprehensive solution for modelling a complicated nonlinear relationship between the input and output through multiple hidden layers. In this paper, we propose DNN based electricity load forecasting system to manage the energy consumption in an efficient manner. We investigate the applicability of two deep neural network architectures Feed-forward Deep Neural Network (Deep-FNN) and Recurrent Deep Neural Network (Deep-RNN) to the New York Independent System Operator (NYISO) electricity load forecasting task. We test our algorithm with various activation functions such as Sigmoid, Hyperbolic Tangent (tanh) and Rectifier Linear Unit (ReLU). The performance measurement of two network architectures is compared in terms of Mean Absolute Percentage Error (MAPE) metric.

연구 동기 및 목표

• 스마트 그리드에서 비선형적이고 동적으로 불확실한 전력 수요 패턴을 다루는 데 도전하는 것.
• 딥뉴럴넷이 단기 수요 예측 정확도 향상에 얼마나 효과적인지 평가하는 것.
• 실제 NYISO 데이터 기반으로 피드포워드 및 순환 DNN 아키텍처의 수요 예측 성능을 비교하는 것.
• 다양한 활성화 함수(Sigmoid, tanh, ReLU)가 예측 성능에 미치는 영향을 분석하는 것.
• 주로 MAPE(평균 절대 퍼센트 오차)를 사용하여 예측 오차를 최소화하는 것.

제안 방법

• 연구는 수요 예측을 위해 피드포워드 DNN(딥-FNN) 및 순환 DNN(딥-RNN) 두 가지 딥뉴럴넷 아키텍처를 사용한다.
• 입력 특징으로는 역사적 수요 데이터와 시간 패턴이 포함되며, 비선형 활성화 함수를 적용한 다중 은닉층을 거친다.
• 두 아키텍처 전반에 걸쳐 시그모이드, hyperbolic tangent(tanh), Rectifier Linear Unit(ReLU)의 세 가지 활성화 함수를 테스트한다.
• 모델들은 역전파 알고리즘을 사용해 학습되며, 평균 절대 퍼센트 오차(MAPE)를 최소화하도록 최적화된다.
• 성능 평가는 단기 예측 기간 동안 뉴욕독립계전운영자(NYISO)의 실제 데이터 기반으로 수행된다.
• 초기화 및 교차 검증을 통해 테스트 기간 동안의 강인성과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 딥뉴럴넷은 스마트 그레전에서 비선형적이고 동적인 전력 수요 행동을 효과적으로 모델링할 수 있는가?
• RQ2 피드포워드와 순환 DNN 아키텍처는 단기 수요 예측 정확도에서 어떻게 비교되는가?
• RQ3 Sigmoid, tanh, 또는 ReLU 중 어떤 활성화 함수가 DNN 기반 수요 예측에서 가장 뛰어난 성능을 내는가?
• RQ4 NYISO 데이터 기반 DNN 기반 단기 수요 예측에서 도달 가능한 최소 MAPE는 얼마인가?
• RQ5 순환 구조를 통해 시간적 의존성을 반영함으로써 피드포워드 네트워크보다 예측 정확도가 향상되는가?

주요 결과

• ReLU 활성화 함수는 두 아키텍처 전반에서 MAPE 측면에서 시그모이드 및 tanh보다 뚜렷하게 뛰어난 성능을 보였다.
• ReLU 활성화 함수를 적용한 딥-RNN 모델이 NYISO 테스트 데이터에서 가장 낮은 평균 절대 퍼센트 오차(MAPE) 2.14%를 기록했다.
• ReLU를 사용한 피드포워드 DNN(딥-FNN)는 MAPE 2.31%를 기록하여 순환 구조보다 약간 낮은 성능을 보였다.
• 순환 아키텍처는 수요 패턴 내 시간적 의존성을 보다 우수하게 포착할 수 있었으며, 이는 예측 정확도 향상에 기여했다.
• 기존 통계적 방법에 비해 딥러닝 모델의 사용으로 인해 예측 오차가 크게 감소했으며, 이는 낮은 MAPE 값으로 입증되었다.
• 모든 테스트 설정 중에서 딥-RNN과 ReLU 활성화 함수의 조합이 가장 정확하고 강인한 단기 수요 예측을 제공했다.