[논문 리뷰] Distributional neural networks for electricity price forecasting

Grzegorz Marcjasz, Michał Narajewski외 2명|arXiv (Cornell University)|2022. 07. 06.

Energy Load and Power Forecasting참고 문헌 60인용 수 6

한 줄 요약

이 논문은 독일의 일일 전기 요금 예측을 위한 분포 신경망(DDNN)을 제안한다. 깊이 있는 신경망에 매개변수화된 출력층(정규분포 또는 존슨의 SU 분포)을 사용하여 예측 분포 전체를 모델링한다. 이 방법은 고차원 모멘트를 활용하고 앙상블 집합을 통해 강건하고 해석 가능한 확률적 예측을 가능하게 하여, LASSO 추정 회귀 및 분位수 회귀 평균화를 결합한 딥 뉴럴 네트워크와 같은 최신 기준 모델보다 뛰어난 성능을 보인다.

ABSTRACT

We present a novel approach to probabilistic electricity price forecasting which utilizes distributional neural networks. The model structure is based on a deep neural network that contains a so-called probability layer. The network's output is a parametric distribution with 2 (normal) or 4 (Johnson's SU) parameters. In a forecasting study involving day-ahead electricity prices in the German market, our approach significantly outperforms state-of-the-art benchmarks, including LASSO-estimated regressions and deep neural networks combined with Quantile Regression Averaging. The obtained results not only emphasize the importance of higher moments when modeling volatile electricity prices, but also -- given that probabilistic forecasting is the essence of risk management -- provide important implications for managing portfolios in the power sector.

연구 동기 및 목표

• 변동성이 큰 시장에서 확률적 전기 요금 예측을 위한 단순하고 해석 가능하며 계산적으로 효율적인 방법을 개발하는 것.
• 특히 CNN 및 RNN과 같은 복잡한 아키텍처와 비교하여 전기 요금 예측에 대한 분포 신경망에 관한 문헌의 격차를 보완하는 것.
• 예측 분포 전체(고차원 모멘트 포함)를 모델링함으로써 전력 거래에서 위험 관리 성능이 향상됨을 입증하는 것.
• 기존의 평가 프레임워크와의 호환성을 유지하면서도, 다른 전력 시장 및 데이터 유형에 적용 가능한 완전 자동화된 오픈소스 예측 프레임워크를 제공하는 것.

제안 방법

• 표준 딥 뉴럴 네트워크(다층 퍼셉트론)를 사용하며, 확률 분포를 매개변수화하는 사용자 정의 출력층을 적용한다(정규분포는 2개, 존슨의 SU 분포는 4개의 매개변수).
• 지속적 순위 확률 점수(CRPS)를 손실 함수로 사용하여 예측 분포 정확도를 최적화하기 위해 엔드 투 엔드로 네트워크를 훈련시킨다.
• 최적의 아키텍처와 입력 특징을 선택하기 위해 반복적 시험과 윈도우 이동 검증을 활용한 하이퍼파rameter 튜닝 과정을 적용한다.
• 예측을 안정화하고 강건성을 향상시키기 위해 다수의 DDNN 모델을 앙상블(DDNN-JSU-Ens)로 구성하며, 성능은 가중 평균을 통해 집계한다.
• 예측된 분포에서 점 추정치(예: 중앙값 또는 평균)를 유도할 수 있어, 기존 평가 프레임워크와의 호환성을 확보한다.
• TensorFlow 및 Keras를 사용하여 구현되었으며, 재현성과 광범위한 적용을 위해 오픈소스 코드를 공개하였다.

실험 결과

연구 질문

• RQ1 분포 신경망에 매개변수화된 출력층을 적용한 단순한 모델이 분위수 회귀 평균화와 조합되었을 때, 확률적 전기 요금 예측에서 최신 기준 점 추정 모델을 능가할 수 있는가?
• RQ2 존슨의 SU 분포를 통해 고차원 모멘트를 모델링함으로써, 정규분포 가정에 비해 변동성이 큰 전기 요금 시장에서 예측 정확도가 향상되는가?
• RQ3 제안된 DDNN 방법의 성능은 LASSO 추정 자동회귀 및 분위수 회귀 평균화를 결합한 딥 뉴럴 네트워크와 같은 기준 모델과 비교해 어떻게 되는가?
• RQ4 하이퍼파rameter 튜닝의 변동성은 모델 성능에 얼마나 큰 영향을 미치며, 앙상블 방법은 이러한 불안정성을 완화할 수 있는가?
• RQ5 완전 자동화되고 해석 가능하며 계산적으로 효율적인 분포 신경망이 실제 전기 요금 예측에 효과적으로 적용될 수 있는가?

주요 결과

• 존슨의 SU 분포를 사용한 DDNN(DDNN-JSU-Ens)는 지속적 순위 확률 점수(CRPS) 측면에서 모든 기준 모델을 뛰어넘으며, 변동성이 큰 전기 요금에서 고차원 모멘트를 모델링하는 것이 중요함을 입증한다.
• DDNN-JSU-Ens 접근법은 중앙값(50번째 백분위수) 예측의 평균 절대 오차 측면에서 유일하게 점 신경망 앙상블을 뛰어넘는 성능을 보였다.
• 하이퍼파rameter 튜닝 과정에서 시험 간 결과의 변동성이 심하여, 검증 데이터에서 CRPS가 최대 10%의 차이를 보였으며, 이는 강한 국소 최적해가 존재하고 앙상블 평균을 통해 성능을 안정화시킬 필요가 있음을 시사한다.
• 가장 중요한 입력 특징은 이전 일자의 요금, 당일의 전력 수요 및 재생 가능 에너지(RES) 예측, 이전 일자의 RES 예측, 최근의 가격 정보이며, 추가적인 지연 항목은 덜 중요하다.
• 이 방법은 계산적으로 효율적이며 해석 가능하며, 기존의 점 예측을 위한 딥 뉴럴 네트워크를 분포 모델로 변환하기 위해 최소한의 수정만 필요하다.
• 오픈소스 구현을 통해 다른 전력 시장 및 데이터 세트에 직접 적용할 수 있어, 전력 부문의 위험 관리 분야에서의 광범위한 도입을 지원한다.