[논문 리뷰] Improving Uncertain Climate Forecasts Using a New Minimum Mean Square Error Estimator for the Mean of the Normal Distribution

Stephen Jewson, Ed Hawkins|ArXiv.org|2009. 12. 22.

Meteorological Phenomena and Simulations참고 문헌 2인용 수 11

한 줄 요약

이 논문은 신호 대 잡음 비율(r² = d²/V)을 기반으로 모델 예측을 최적의 감쇠로 조정함으로써 불확실한 기후 예측을 향상시키기 위해 두 가지 새로운 최소 평균 제곱 오차(MSE) 추정기들을 소개한다. 단순 감쇠와 달리, 이 추정기들은 가능한 d 및 V 값에 대한 베이지안 사후 평균을 사용하며, 특히 0.73 < r < 2.03의 핵심 중간 불확실성 범위에서 이전 방법보다 뚜렷이 뛰어난 성능을 보인다. 이 범위에서는 예측을 무시하거나 모델을 그대로 사용할 경우 성능이 떨어지므로, 이는 중요한 개선이다.

ABSTRACT

When climate forecasts are highly uncertain, the optimal mean squared error strategy is to ignore them. When climate forecasts are highly certain, the optimal mean squared error strategy is to use them as is. In between these two extremes there are climate forecasts with an intermediate level of uncertainty for which the optimal mean squared error strategy is to make a compromise forecast. We present two new methods for making such compromise forecasts, and show, using simulations, that they improve on previously published methods.

연구 동기 및 목표

• 불확실성이 높지만 극단적이지 않은 경우 기존 기후 예측 방법의 열악한 성능을 해결하기 위해.
• 제이슨과 하원스(2009b)의 단순 감쇠 방법보다 중간 잡음 대 신호 비율 범위에서 더 나은 최소 평균 제곱 오차(MSE) 추정기를 개발하기 위해.
• 신호 및 불확실성 값의 가능한 조합에 대한 베이지안 평균화가 플러그인 추정기보다 더 나은 예측 성능을 내는지 평가하기 위해.
• 신호 대 잡음 비율 r = d²/V로 정의된 다양한 예측 불확실성 수준에서 최적의 예측 전략을 규명하기 위해.

제안 방법

• 신호(d) 및 분산(V)의 사후 분포를 통합하여 감쇠 계수 k에 대한 새로운 베이지안 적합 추정기 ˆk를 제안한다: ˆk = ∫∫ (d²/(d²+V)) p(d,V|x) dd dV.
• 중간 단계의 k 추정을 생략하고 예측 평균 ˆμ에 대한 직접 추정기 ˆμ = ∫∫ (d³/(d²+V)) p(d,V|x) dd dV를 제안한다.
• d 및 V에 대해 무정보적(Jeffreys’) 사전 분포를 사용하고, ±4 표준편차 범위에서 101점 이산화를 통해 수치적 통합을 수행한다.
• 전체 사용, 무시, 단순 감쇠(Jewson & Hawkins, 2009b), 그리고 두 가지 신규 추정기를 포함한 다섯 가지 예측 전략을 시뮬레이션된 MSE 성능을 기반으로 비교한다.
• 다양한 불확실성 수준 간 비교를 가능하게 하기 위해 분산 V로 MSE를 정규화하여 정규화된 MSE(NMSE)를 계산한다.
• 다양한 r 값(신호 대 잡음 비율)에 대해 몬테카를로 시뮬레이션을 수행하여 성능을 추정한다.

실험 결과

연구 질문

• RQ1 가능한 신호 및 불확실성 값에 대한 베이지안 평균화가 단순 플러그인 감쇠 방법보다 더 나은 최소 MSE 예측을 만들어낼 수 있는가?
• RQ2 다양한 예측 불확실성 수준(r 값)에서 새로운 추정기의 성능이 원래 감쇠 방법보다 어떻게 다를까?
• RQ3 신규 추정기가 예보를 무시하거나 모델 출력을 전면적으로 사용하는 것보다 항상 뛰어난 r의 범위가 존재하는가?
• RQ4 r 매개변수 공간의 서로 다른 영역에서 두 신규 추정기 중 어느 것이 더 우수한 성능을 보이는가?
• RQ5 신호 크기와 불확실성이 모두 알려지지 않은 실생활 상황에서 최적의 예측 전략을 결정할 수 있는가?

주요 결과

• 첫 번째 신규 추정기는 r < 1.19인 0.73 < r < 1.19 범위에서 단순 감쇠 방법보다 성능이 뛰어나며, 이 범위에서는 원래 방법이 최적이지만 이상적이지는 않다.
• 두 번째 신규 추정기는 단순 감쇠 방법보다 성능이 뛰어난 전체 범위에서 뛰어나며, 특히 1.18 < r < 2.03 범위에서 두드러진다.
• r < 0.74이면 예보를 무시하는 것이 최적이고, r > 2.02이면 모델 출력을 전면적으로 사용하는 것이 최적이다.
• 제이슨과 하원스(2009b)의 단순 감쇠 추정기는 언제나 최고 성능을 내지 못하지만, 어떤 한 가지 대체 방법에 의해도 열등하게 평가되지 않는다.
• 두 신규 추정기는 서로 다른 r 하위 영역에서 각각 우세하며, 모든 불확실성 수준에서 유일한 최적 방법이 존재하지 않음을 시사한다.
• 신규 추정기는 현재 과소사용되거나 기각되는 핵심 중간 불확실성 범위에서 MSE를 크게 감소시킨다.