[논문 리뷰] A Bayesian Machine Learning Algorithm for Predicting ENSO Using Short Observational Time Series

Nan Chen, Faheem Gilani외 1명|arXiv (Cornell University)|2021. 04. 03.

Climate variability and models참고 문헌 55인용 수 10

한 줄 요약

이 논문은 20년 분량의 관측 시간열과 매개변수 모델에서 유도된 장기 시뮬레이션을 결합하여, 피드포워드 신경망을 훈련시켜 니뇨 3 수온 지수를 예측하는 베이지안 기계학습(BML) 프레임워크를 제안한다. 이 방법은 표준 기계학습 및 모델 기반 앙상블 예측보다 뛰어난 성능을 보이며, 9.5개월까지 유의미한 예측을 가능하게 하고 봄 예측 장벽을 극복하며 예측 불확실성을 감소시키고 모델 및 입력의 변동에 대한 강건성을 향상시킨다.

ABSTRACT

A simple and efficient Bayesian machine learning (BML) training and forecasting algorithm, which exploits only a 20-year short observational time series and an approximate prior model, is developed to predict the Ni\~no 3 sea surface temperature (SST) index. The BML forecast significantly outperforms model-based ensemble predictions and standard machine learning forecasts. Even with a simple feedforward neural network, the BML forecast is skillful for 9.5 months. Remarkably, the BML forecast overcomes the spring predictability barrier to a large extent: the forecast starting from spring remains skillful for nearly 10 months. The BML algorithm can also effectively utilize multiscale features: the BML forecast of SST using SST, thermocline, and wind burst improves on the BML forecast using just SST by at least 2 months. Finally, the BML algorithm also reduces the forecast uncertainty of neural networks and is robust to input perturbations.

연구 동기 및 목표

• 기계학습 모델을 활용한 ENSO 예측 훈련에서 관측 자료가 제한된 문제를 해결하기 위해.
• 단기 관측 자료와 계산적으로 생성된 사전 모델을 효과적으로 융합하여 모델 오차와 예측 불확실성을 감소시키는 훈련 알고리즘을 개발하기 위해.
• 특히 전통적인 모델이 실패하기 쉬운 봄 예측 장벽 동안에도 예측 정확도를 향상시키기 위해.
• 사전 모델의 정확도 부족과 입력의 변동에 대한 민감도를 감소시켜 강건성을 향상시키기 위해.
• SST, 열역학계면, 바람 폭발과 같은 다스케일 입력을 통합하여 예측 성능을 향상시키기 위해.

제안 방법

• BML 프레임워크는 신경망 훈련을 위한 장기 사전 시간열을 생성하기 위해 매개변수 모델을 사용한다.
• 20년 분량의 관측 자료는 사전 모델의 체계적 오차를 훈련 중에 보정하기 위한 우도로 사용된다.
• 데이터 기반 검증 단계를 통해 사전 정보와 관측 정보를 결합함으로써 베이지안 업데이트가 적용된다.
• 신경망은 두 단계 과정을 통해 훈련된다: 먼저 사전 자료로, 그 다음 관측 우도를 사용하여 예측을 정밀화한다.
• 이 방법은 관측 자료가 제한된 다양한 신경망 아키텍처와 지구물리학적 시스템에 적용 가능하다.
• 사전 지식과 관측 제약 조건을 통합함으로써 프레임워크는 예측 불확실성을 감소시키고 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 단지 20년 분량의 관측 시간열만을 사용하여 베이지안 기계학습 프레임워크가 ENSO 예측을 위한 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 예측 정확도와 불확실성 측면에서 BML 방법은 표준 기계학습 및 모델 기반 앙상블 예측과 비교해 어떻게 성능을 냈는가?
• RQ3 BML 프레임워크는 ENSO 예측에서 봄 예측 장벽을 어느 정도 극복할 수 있는가?
• RQ4 SST, 열역학계면, 바람 폭발과 같은 다스케일 변수를 통합하면 SST 전용 입력에 비해 예측 정확도는 얼마나 향상되는가?
• RQ5 BML 방법은 사전 모델 오차와 입력 데이터의 변동에 대해 얼마나 강건한가?

주요 결과

• BML 예측은 9.5개월의 유의미한 리드 타임을 확보하여 표준 기계학습 및 모델 기반 앙상블 예측보다 뛰어난 성능을 보였다.
• 봄에 초기화된 BML 예측은 거의 10개월 동안도 정확도를 유지하여 봄 예측 장벽이 상당히 완화되었음을 시사한다.
• SST, 열역학계면 깊이, 바람 폭발과 같은 다스케일 입력을 통합하면 SST 전용 입력에 비해 최소 2개월 이상의 예측 정확도 향상이 이루어졌다.
• BML 알고리즘은 예측 불확실성을 감소시켰으며, 표준 기계학습 예측 대비 불확실성의 50% 감소를 기록했다.
• 사전 모델의 파라미터가 분산 기준 0.8 표준편차 이내로 변동하더라도 BML 방법은 여전히 7개월까지 정확한 예측을 유지하며 강건성을 확보했다.
• BML 프레임워크는 별도의 자료 융합 시스템에서 유도된 사후 시간열이 필요로 하지 않으며, 베이지안 업데이트 메커니즘을 통해 자연스럽게 관측 제약 조건을 통합한다.