[논문 리뷰] Deep Uncertainty Quantification: A Machine Learning Approach for Weather Forecasting

Bin Wang, Jie Lü외 5명|arXiv (Cornell University)|2018. 12. 22.

Hydrological Forecasting Using AI참고 문헌 29인용 수 21

한 줄 요약

이 논문은 역사적 관측치와 수치기상예보(NWP) 데이터를 종합적으로 활용하여 끝에서 끝까지 학습 가능한 모델을 통해 기상 예측에서 점 추정과 신뢰도 측정을 동시에 수행하는 새로운 딥러닝 프레임워크인 딥 유니 certainty 퀀티피케이션(DUQ)을 제안한다. 이 방법은 일반적인 MSE 및 MAE보다 훨씬 우수한 일반화 성능을 보이는 음의 로그우도 오차(NLE) 손실 함수를 도입하여 베이징 기상 데이터셋에서 NWP보다 47.76% 높은 정확도를 달성하며, 최신 기술 수준의 성능과 함께 오픈소스 기반 벤치마크를 제공한다.

ABSTRACT

Weather forecasting is usually solved through numerical weather prediction (NWP), which can sometimes lead to unsatisfactory performance due to inappropriate setting of the initial states. In this paper, we design a data-driven method augmented by an effective information fusion mechanism to learn from historical data that incorporates prior knowledge from NWP. We cast the weather forecasting problem as an end-to-end deep learning problem and solve it by proposing a novel negative log-likelihood error (NLE) loss function. A notable advantage of our proposed method is that it simultaneously implements single-value forecasting and uncertainty quantification, which we refer to as deep uncertainty quantification (DUQ). Efficient deep ensemble strategies are also explored to further improve performance. This new approach was evaluated on a public dataset collected from weather stations in Beijing, China. Experimental results demonstrate that the proposed NLE loss significantly improves generalization compared to mean squared error (MSE) loss and mean absolute error (MAE) loss. Compared with NWP, this approach significantly improves accuracy by 47.76%, which is a state-of-the-art result on this benchmark dataset. The preliminary version of the proposed method won 2nd place in an online competition for daily weather forecasting.

연구 동기 및 목표

• 초기 조건에 민감하고 미분방정식의 불안정성으로 인해 수치기상예보(NWP)의 한계를 해결하기 위해.
• 기존의 데이터 기반 방법으로서 역사적 관측치와 NWP 출력을 효과적으로 융합하여 예측 정확도를 향상시키기 위해.
• 시간 시계열 회귀에서 높은 정확도의 점 추정과 신뢰할 수 있는 예측 구간(신뢰도 측정)을 동시에 달성하기 위해.
• 표준 딥러닝 프레임워크와 호환되는 미분 가능 손실 함수를 설계하여 모델의 일반화 성능을 향상시키기 위해.
• 기계학습을 활용한 기상 예측을 위한 공개 가능한 벤치마크를 구축하기 위해.

제안 방법

• 역사적 기상 관측치와 NWP 모델 출력을 효과적인 정보 융합 메커니즘을 통해 통합하는 딥 네트워크 아키텍처를 제안한다.
• 모델을 종단간(end-to-end)으로 훈련하기 위해 새로운 음의 로그우도 오차(NLE) 손실 함수를 도입하여 동시에 점 추정과 신뢰도 측정을 가능하게 한다.
• NLE 손실 함수는 미분 가능하며 PyTorch 및 TensorFlow와 호환되어 베이지안 추론이 필요 없이 역전파 기반 최적화가 가능하다.
• 다양한 초기화 및 데이터 분할을 활용한 효율적인 딥 앙상블 전략을 적용하여 모델의 견고성과 예측 성능을 향상시킨다.
• 다중 기상 변수(기온, 습도, 풍속)와 향후 시간 단계, 여러 기상 관측소를 동시에 예측하기 위해 시퀀스-투-시퀀스 프레임워크를 사용한다.
• 신뢰도 캘리브레이션 평가를 위해 90% 예측 구간(PI)을 적용하며, 구간 커버리지의 정도는 PICP(예측 구간 커버리지 확률)로 측정한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 역사적 관측치와 NWP 출력을 효과적으로 융합하여 기상 예측 정확도를 향상시킬 수 있는가?
• RQ2 제안된 음의 로그우도 오차(NLE) 손실 함수가 MSE 및 MAE와 같은 기존 손실 함수보다 기상 예측에서 더 우수한 일반화 성능을 보이는가?
• RQ3 단일 딥러닝 모델이 동시에 정확한 점 예측과 신뢰할 수 있는 예측 구간을 생성할 수 있는가?
• RQ4 실제 기상 데이터에서 제안된 DUQ 방법의 성능이 전통적인 NWP 및 기타 기계학습 기반 기준 모델보다 어떻게 비교되는가?
• RQ5 앙상블 전략이 예측 시스템의 정확도와 견고성에 얼마나 기여하는가?

주요 결과

• 제안된 NLE 손실 함수는 기존의 MSE 및 MAE보다 점 추정의 일반화 성능을 크게 향상시키며, 이는 이전 문헌에서 보고된 바가 없는 현상이다.
• DUQ는 베이징 기상 데이터셋에서 NWP보다 47.76% 높은 정확도를 기록하여 이 벤치마크에서 최신 기술 수준의 성능을 달성하였다.
• DUQ 300-300 앙상블 모델은 평균 RMSE가 3.3669로, MSE 및 MAE 손실을 사용한 Seq2Seq 모델을 포함한 모든 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• DUQ가 생성한 예측 구간은 높은 커버리지 수준을 유지하였으며, 기온의 평균 PICP는 0.9249, 상대습도는 0.9099, 풍속은 0.9519로, 신뢰도 추정이 잘 校정된 것으로 나타났다.
• 딥 앙상블 전략은 성능 향상에 크게 기여하였으며, DUQ 300-300 모델은 모든 지표에서 최고의 성능을 기록하였고, 기준 모델보다 앙상블 수렴에 필요한 반복 수(2900회)가 적었다.
• 제거 실험 결과, NWP 또는 관측 데이터를 제거할 경우 성능이 심각하게 저하됨을 확인하여 융합 정보 아키텍처의 중요성을 입증하였다.