[논문 리뷰] Neural networks in day-ahead electricity price forecasting: Single vs. multiple outputs

Grzegorz Marcjasz, Jesus Lago외 1명|arXiv (Cornell University)|2020. 08. 18.

Energy Load and Power Forecasting참고 문헌 22인용 수 4

한 줄 요약

이 논문은 유럽의 다섯 개 전력 시장에서 일일 전기 요금 예측을 위해 단일 출력 및 다중 출력 딥 네트워크를 비교한다. 다중 출력 DNN는 일반화 능력 향상과 과적합 감소로 인해 단일 출력 모델보다 유의미하게 뛰어난 성능을 보이며, 동시에 계산 효율성도 높아, 이러한 예측 작업에 권장되는 접근 방식이 된다.

ABSTRACT

Recent advancements in the fields of artificial intelligence and machine learning methods resulted in a significant increase of their popularity in the literature, including electricity price forecasting. Said methods cover a very broad spectrum, from decision trees, through random forests to various artificial neural network models and hybrid approaches. In electricity price forecasting, neural networks are the most popular machine learning method as they provide a non-linear counterpart for well-tested linear regression models. Their application, however, is not straightforward, with multiple implementation factors to consider. One of such factors is the network's structure. This paper provides a comprehensive comparison of two most common structures when using the deep neural networks -- one that focuses on each hour of the day separately, and one that reflects the daily auction structure and models vectors of the prices. The results show a significant accuracy advantage of using the latter, confirmed on data from five distinct power exchanges.

연구 동기 및 목표

• 단일 출력 및 다중 출력 딥 네트워크 아키텍처 간의 일일 전기 요금 예측 성능 차이를 평가하는 것.
• 다중 출력 모델이 24개의 독립적인 단일 시간대 모델에 비해 과적합을 줄이고 일반화 능력을 향상시키는지 평가하는 것.
• 딥 네트워크의 예측 정확도를 최신 기술 수준의 LEAR 모델(라소 정규화를 적용한 선형 모델)과 비교하는 것.
• 두 모델 아키텍처 간의 계산 효율성 및 하이퍼파rameter 복잡성 분석하기

제안 방법

• 이 연구는 두 가지 다른 아키텍처를 가진 딥 네트워크(DNN)를 사용한다: 각 시간대의 24시간 요금을 별도로 예측하는 DNN 1과, 모든 24시간을 동시에 벡터로 예측하는 DNN 24.
• 과적합을 완화하기 위해 그리드 서치, 조기 정지, 드롭아웃을 활용한 하이퍼파ram터 최적화를 수행한다.
• 모델은 노르드 풀, 펌, EPEX-BE, EPEX-FR, EPEX-DE에서 확보한 다섯 개의 개방형 일일 전력 시장 데이터셋을 사용해 훈련 및 평가한다. 각 데이터셋은 6년간의 시간대별 데이터를 포함한다.
• 성능 평가에는 상대적 평균 절대 오차(rMAE)를 사용하며, 통계적 유의성은 Giacomini-White 조건부 예측 능력(CPA) 검정을 통해 평가한다.
• 최신 기술 수준의 성능 기준으로 LEAR 모델(라소 정규화를 적용한 특징 선택을 갖춘 선형 모델)을 사용한다.
• 다변량 예측 평가를 위해 Giacomini-White CPA 검정을 활용하여, 한 모델의 예측이 다른 모델보다 통계적으로 뛰어난지 분석한다.

실험 결과

연구 질문

• RQ1 다양한 유럽 시장에서 일일 전기 요금 예측에 있어 다중 출력 딥 네트워크 아키텍처가 단일 출력 아키텍처를 능가하는가?
• RQ2 24개의 독립적으로 훈련된 단일 출력 모델에 비해 다중 출력 아키텍처는 과적합을 어느 정도 줄이는가?
• RQ3 rMAE와 통계적 유의성 측면에서 다중 출력 DNN의 예측 정확도는 최신 기술 수준의 LEAR 모델과 비교해 어떻게 되는가?
• RQ4 24개의 별도 단일 출력 모델을 훈련하는 것보다 다중 출력 DNN는 계산 효율성이 더 높은가?
• RQ5 다양한 시장 구조와 가격 역학성에 걸쳐 다중 출력 DNN의 예측 우수성은 일관된가?

주요 결과

• 다중 출력 DNN(DNN 24)는 정확도 면에서 단일 출력 DNN(DNN 1)를 뚜렷이 능가하며, 특히 피크 시간대에서 두드러진다. DNN 1은 정규화 조치에도 불구하고 과적합 문제를 보인다.
• 모든 다섯 개의 데이터셋에서 DNN 24는 rMAE가 DNN 1보다 낮으며, 일부 시장에서는 시간대 4에서 DNN 1이 단순 기준 모델보다 성능이 열 劣한다.
• Giacomini-White CPA 검정에서 DNN 24는 어떤 다른 모델보다도 열 劣하지 않으며, 이는 다섯 개 시장 전역에서 통계적으로 뛰어난 예측 능력을 지닌다는 것을 의미한다.
• LEAR 모델은 노르드 풀, 펌, EPEX-BE에서는 DNN 1과 유사한 성능을 보였지만, 다섯 개 시장 중 네 곳에서 아침과 저녁 피크 시간대에 DNN 24에 열 劣한다.
• 다중 출력 DNN는 계산 효율성이 더 뛰어나며, 하이퍼파ram터를 한 번만 설정하고, 24개의 별도 단일 출력 모델을 훈련하는 것보다 훨씬 빠른 훈련 속도를 보인다.
• 벡터화된 출력 구조 덕분에 시간대 간 공유된 표현 학습이 가능해 일반화 능력이 향상되며, 전용 단일 시간대 모델에 내재된 과적합 위험을 줄인다.