[논문 리뷰] Forecasting day-ahead electricity prices: A review of state-of-the-art algorithms, best practices and an open-access benchmark

Jesus Lago, Grzegorz Marcjasz외 2명|arXiv (Cornell University)|2020. 08. 18.

Energy Load and Power Forecasting참고 문헌 152인용 수 406

한 줄 요약

이 논문은 다섯 개의 주요 전력 시장에서의 개방형 데이터셋, 최첨단 모델(LEAR 및 DNN)의 오픈소스 구현, 그리고 포괄적인 최적 실천 방법론을 도입하여 당일 전력 가격 예측을 위한 철저한 벤치마크를 제안한다. 딥 러닝 앙상블 모델이 정확도에서 통계 모델을 능가하는 것으로 입증되었지만, LEAR 모델은 계산 효율성과 뛰어난 성능로 인해 저지연 응용 분야에서 최적임을 확인하였다.

ABSTRACT

While the field of electricity price forecasting has benefited from plenty of contributions in the last two decades, it arguably lacks a rigorous approach to evaluating new predictive algorithms. The latter are often compared using unique, not publicly available datasets and across too short and limited to one market test samples. The proposed new methods are rarely benchmarked against well established and well performing simpler models, the accuracy metrics are sometimes inadequate and testing the significance of differences in predictive performance is seldom conducted. Consequently, it is not clear which methods perform well nor what are the best practices when forecasting electricity prices. In this paper, we tackle these issues by performing a literature survey of state-of-the-art models, comparing state-of-the-art statistical and deep learning methods across multiple years and markets, and by putting forward a set of best practices. In addition, we make available the considered datasets, forecasts of the state-of-the-art models, and a specifically designed python toolbox, so that new algorithms can be rigorously evaluated in future studies.

연구 동기 및 목표

• 전력 가격 예측(EPF) 연구에서 표준화되고 재현 가능한 평가의 부족을 해결한다.
• 다섯 개의 주요 전력 시장에서 여섯 년에 걸쳐 분석 가능한 장기적 개방형 벤치마크 데이터셋을 제공한다.
• 공정한 비교를 위한 최첨단 모델(LEAR 및 DNN)의 오픈소스 구현을 개발하고 배포한다.
• EPF 연구의 방법론적 철저성, 재현 가능성, 통계적 타당성을 향상시키기 위한 최적 실천 방법론 세트를 수립한다.
• 향후 연구에서 공통된 데이터셋과 벤치마크 모델을 활용해 일관된 조건에서 새로운 모델을 평가할 수 있도록 한다.

제안 방법

• 유럽 및 북미 주요 시장에서의 당일 전력 가격에 대한 다섯 개의 개방형 장기(6년) 데이터셋을 선별하였으며, 각 데이터셋에는 시간대별 가격과 두 가지 외생 변수가 포함되어 있다.
• 최첨단 모델 두 종류를 구현하고 오픈소스로 공개하였다: 통계 예측을 위한 라소 추정 자동회귀(LEAR) 모델과 베이지안 하이퍼파ram터 및 특징 최적화를 적용한 딥 뉴럴 네트워크(DNN) 모델.
• 데이터셋, 모델 예측 결과, 평가 도구를 통합하여 일관된 벤치마킹을 지원하는 전용 파이썬 라이브러리 epftoolbox를 개발하였다.
• 표준화된 평가 지표(rMAE, sMAPE, MAPE, RMSE)를 적용하고, 성능 차이의 유의성을 평가하기 위해 통계적 검증을 실시하였다.
• 재현 가능성을 확보하기 위해 일일 재교정을 포함한 엄격한 외부 샘플 평가 프로토콜을 적용하였으며, 별도의 훈련/검증/테스트 분할과 명시적인 데이터 분할을 시행하였다.
• 모든 다섯 개의 데이터셋에서 정확도 지표와 비모수적 통계 검정을 병행하여 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 다양하고 장기적인 전력 시장에서 어떤 예측 모델이 일관되게 다른 모델을 능가하는가?
• RQ2 딥 러닝 모델은 LEAR와 같은 잘 정립된 통계 모델과 비교해 정확도와 계산 비용 측면에서 어떻게 다른가?
• RQ3 전력 가격 예측에 가장 신뢰할 수 있고 통계적으로 타당한 평가 지표는 무엇인가?
• RQ4 앙상블 딥 러닝 모델은 개별 DNN에 비해 예측 정확도를 얼마나 향상시키는가?
• RQ5 향후 EPF 연구에서 재현 가능성과 의미 있는 비교를 보장하기 위한 방법론적 최적 실천 방법은 무엇인가?

주요 결과

• 딥 뉴럴 네트워크(DNN) 앙상블 모델이 정확도에서 모든 다른 모델을 뛰어넘으며, 개별 모델과 LEAR 모델에 비해 통계적으로 유의미한 향상을 보였다.
• LEAR 모델은 DNN 수준의 성능를 거의 달성하지만, 계산 비용은 최대 100배 낮아 실시간 의사결정 응용 분야에 이상적이다.
• rMAE 지표는 MAPE 및 sMAPE보다 더 신뢰할 수 있으며, MAPE는 가격이 근처 0에 가까울 경우에 민감하여 잘못된 결론을 이끌 수 있어 신뢰도가 떨어진다.
• 성능 차이가 통계적으로 유의미한지 확인하기 위해 통계적 검증이 필수적이다. 이를 생략할 경우 EPF 연구의 결론은 종종 타당성이 없다.
• 테스트 데이터셋은 최소한 1년 이상이어야 대표성을 확보할 수 있다. 일주일 분량의 짧은 테스트 기간은 신뢰할 수 없고 일반화 불가능한 결과를 초래한다.
• 개방형 벤치마크(데이터셋 및 최첨단 모델의 사전 계산된 예측 결과 포함)는 새로운 예측 방법의 공정하고 재현 가능하며 일관된 평가를 가능하게 한다.