[논문 리뷰] DiffLoad: Uncertainty Quantification in Electrical Load Forecasting with the Diffusion Model

Zhixian Wang, Qingsong Wen외 3명|arXiv (Cornell University)|2023. 05. 31.

Energy Load and Power Forecasting인용 수 5

한 줄 요약

이 논문은 확산 모델을 활용해 지식 기반 불확실성(epistemic uncertainty)과 데이터 기반 불확실성(aleatoric uncertainty)을 별도로 정량화하는 확산 기반 Seq2Seq 모델인 DiffLoad를 제안한다. 지식 기반 불확실성에 대해 확산 모델을, 데이터 기반 불확실성에 대해 강건한 코시 분포를 사용함으로써, 데이터 이동 상황에서도 뛰어난 불확실성 분離 성능과 안정성을 확보하였으며, 다양한 데이터셋에서 정확도와 불확실성 校정 성능 면에서 기존의 기준 모델들을 능가한다.

ABSTRACT

Electrical load forecasting plays a crucial role in decision-making for power systems, including unit commitment and economic dispatch. The integration of renewable energy sources and the occurrence of external events, such as the COVID-19 pandemic, have rapidly increased uncertainties in load forecasting. The uncertainties in load forecasting can be divided into two types: epistemic uncertainty and aleatoric uncertainty. Separating these types of uncertainties can help decision-makers better understand where and to what extent the uncertainty is, thereby enhancing their confidence in the following decision-making. This paper proposes a diffusion-based Seq2Seq structure to estimate epistemic uncertainty and employs the robust additive Cauchy distribution to estimate aleatoric uncertainty. Our method not only ensures the accuracy of load forecasting but also demonstrates the ability to separate the two types of uncertainties and be applicable to different levels of loads. The relevant code can be found at \url{https://anonymous.4open.science/r/DiffLoad-4714/}.

연구 동기 및 목표

• 재생 가능 에너지 통합과 코로나19 패닉과 같은 외부 사건으로 인한 전력 수요 예측의 불확실성 증가 문제를 해결한다.
• 모델 기반의 불확실성(epistemic)과 데이터 기반의 불확실성(aleatoric)을 분리하고 정량화하여 의사결정의 신뢰도를 향상시킨다.
• 데이터 노이즈 및 분포 이동 상황에서도 높은 예측 정확도를 유지하면서 신뢰할 수 있는 불확실성 추정을 제공하는 방법을 개발한다.
• 앙상블 또는 베이지안 신경망 방법에 비해 계산 비용을 줄이면서도 불확실성 校정 성능과 강건성을 향상시킨다.

제안 방법

• 시퀀스 투 시퀀스 아키텍처의 은닉 상태에서의 불확실성을 모델링함으로써, 확산 기반의 Seq2Seq 아키텍처를 제안하여 지식 기반 불확실성을 추정한다.
• 이상치에 민감도가 낮고 강건한 두꺼운 尾 꼬리 분포인 코시 분포를 사용하여 데이터 기반 불확실성을 모델링한다.
• 모델 파라미터 분포에 의존하지 않는, 확산 과정 기반의 경험적 불확실성 추정 전략을 도입한다.
• 재구성 손실과 불확실성 인식 손실 함수의 조합을 사용해 엔드 투 엔드로 모델을 훈련시켜 정확도와 불확실성 校정 성능을 동시에 최적화한다.
• 불확실성 추정을 예측 헤드에 직접 통합하여 추가 추론 오버헤드 없이 실시간 불확실성 정량화를 가능하게 한다.
• GEF, COV, BDG2 등의 다양한 데이터셋에서 다중 스케일 수요 예측 작업에 적용하여 일반화 능력과 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 모델 파라미터 분포에 의존하지 않고도 확산 기반 모델이 수요 예측에서 지식 기반 불확실성을 효과적으로 추정할 수 있는가?
• RQ2 코시 분포를 사용할 경우, 가우시안 가정에 비해 노이즈가 많거나 분포 이동이 발생하는 상황에서 데이터 기반 불확실성 추정 성능이 어떻게 향상되는가?
• RQ3 갑작스러운 변화가 있는 실제 수요 데이터에서 지식 기반 및 데이터 기반 불확실성을 얼마나 잘 분리하고 정량화할 수 있는가?
• RQ4 기존의 확률적 예측 기준 모델인 DeepAR, 앙상블, 베이지안 신경망에 비해 제안된 방법이 더 나은 불확실성 校정 성능과 예측 정확도를 달성하는가?
• RQ5 제안된 방법의 계산 비용은 표준 모델 및 앙상블, 베이지안 네트워크와 같은 불확실성 인식 방법에 비해 어떻게 비교되는가?

주요 결과

• 제안된 DiffLoad 방법은 GEF 데이터셋에서 MAPE 3.29, COV 데이터셋에서 MAPE 1.91를 기록하여 베이직한 DeepAR 및 기타 아블레이션 변형보다 뛰어난 성능을 보였다.
• 훈련 데이터가 증가함에 따라 지식 기반 불확실성 추정치가 점진적으로 감소함으로써, 모델의 자신감 향상과 과소적합 감소를 나타내었으며, 기준 모델들과는 달리 비정상적인 증가 경향을 보이지 않았다.
• 코시 분포를 사용함으로써, 이상치가 많은 고변동성 데이터셋에서 가우시안 분포 대비 더 안정적이고 좁은 신뢰구간을 확보하였다.
• 팬데믹 관련 수요 변화와 같은 분포 이동 상황에서도 낮은 불확실성 추정치를 유지하여, 외부 충격에 대한 강건성을 입증하였다.
• 앙상블 및 베이지안 신경망 방법에 비해 훈련 시간이 크게 단축되었으며, 표준 DeepAR 대비 다소 증가한 수준이었기 때문에 실시간 구현에 있어 계산 효율성이 뛰어났다.
• 아블레이션 연구 결과, 확산 아키텍처와 코시 분포 둘 다 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 MAPE, CRPS, Winkler 점수 등 모든 지표에서 성능 저하가 발생하였다.