[논문 리뷰] Comparing the ensemble mean and the ensemble standard deviation as inputs for probabilistic medium-range temperature forecasts

Stephen Jewson|ArXiv.org|2003. 10. 13.

Meteorological Phenomena and Simulations참고 문헌 4인용 수 11

한 줄 요약

이 연구는 런던 히드로 공항에서 중기 예보의 확률적 기온 예보에 있어 앙상블 평균과 앙상블 표준편차의 상대적 예측 능력을 평가한다. 네 가지 통계적 구성이 적용된 스프레드-회귀 모델을 통해, 앙상블 평균이 앙상블 스프레드보다 훨씬 더 많은 기여를 한다는 것이 밝혀졌으며, 장기 예보 수준에서는 그 기여도가 최대 100배에 이르며, 이는 장기 예보에서 앙상블 평균이 확률적 기온 예측에서 지배적인 역할을 한다는 것을 시사한다. 단, 단기 예보에서는 스프레드가 약간의 이점을 제공한다.

ABSTRACT

We ask the following question: what are the relative contributions of the ensemble mean and the ensemble standard deviation to the skill of a site-specific probabilistic temperature forecast? Is it the case that most of the benefit of using an ensemble forecast to predict temperatures comes from the ensemble mean, or from the ensemble spread, or is the benefit derived equally from the two? The answer is that one of the two is much more useful than the other.

연구 동기 및 목표

• 특정 지점의 확률적 중기 기온 예보의 정확도에 있어 앙상블 평균과 앙상블 표준편차의 상대적 기여도를 규명하는 것.
• 예보 정확도가 주로 앙상블 평균(중심 경향성)에 기인하는지, 아니면 앙상블 스프레드(불확실성 추정치)에 기인하는지 평가하는 것.
• 확률적 예보 맥락에서 앙상블 스프레드가 앙상블 평균을 초월해 의미 있는 예측 정보를 제공하는지 평가하는 것.
• 일致한 통계 모델링 프레임워크를 통해 이 두 예측자 간의 상대적 중요도를 정량화하는 것.
• 앙상블 평균과 스프레드의 상대적 중요도가 예보 리드 시간에 따라 변하는지 조사하는 것.

제안 방법

• Jewson 등(2003)의 스프레드-회귀 프레임워크를 기반으로 한 네 가지 통계 모델을 구축하였으며, 이는 앙상블 평균 또는 단일 멤버를 사용할지 여부, 그리고 앙상블 스프레드를 사용할지 또는 이전 예측 오차 통계 자료에 의존할지 여부에 따라 다름.
• 각 모델은 정규분포를 추정함으로써 확률적 예보를 생성한다: $ T_i \sim N(\alpha + \beta x_i, \gamma) $, 여기서 $ x_i $ 는 단일 앙상블 멤버 또는 앙상블 평균이다.
• 모델의 매개변수(α, β, γ, δ)는 계절 평균과 표준편차를 제거하기 위해 이중 이상수 기온 데이터에 선형 회귀를 적용하여 추정된다.
• 모델 성능 평가는 예측된 확률 밀도 함수의 정확도를 측정하는 마이너스 로그우도 점수를 통해 평가된다.
• 앙상블 평균과 스프레드의 상대적 기여도는 각 예측자를 포함하거나 제외한 모델 간의 로그우도 차이를 비교하여 정량화된다.
• 이전 연구에서 이 데이터셋에서 앙상블 스프레드의 외부 샘플 성능 향상이 감지되지 않아, 과적합을 방지하기 위해 저차원 모델을 사용한 내부 샘플 분석을 시행하였다.

실험 결과

연구 질문

• RQ1 앙상블 평균이 앙상블 표준편차보다 중기 확률적 기온 예보의 정확도에 얼마나 더 기여하는가?
• RQ2 앙상블 평균과 스프레드의 상대적 중요도는 예보 리드 시간에 따라 변하는가?
• RQ3 이 맥락에서 앙상블 스프레드를 사용하는 데 있어 앙상블 평균을 초월한 유의미한 예측 이점이 있는가?
• RQ4 이 앙상블 시스템의 예측 오차는 충분히 정적(Stationary)하여, 예측자 중요도의 신뢰할 수 있는 통계 모델링을 가능하게 하는가?
• RQ5 스프레드-회귀 모델 프레임워크는 평균과 스프레드의 예보 성능에 대한 개별 기여도를 효과적으로 분리하고 정량화할 수 있는가?

주요 결과

• 앙상블 평균은 앙상블 표준편차보다 예보 정확도에 훨씬 더 큰 기여를 하며, 가장 장기적인 리드 시간에서는 평균이 스프레드보다 최대 100배 더 유용하다.
• 단기 리드 시간에서는 앙상블 평균이 스프레드보다 약 4배 더 유용하며, 이는 예보 수평이 길어질수록 평균의 지배적 역할이 증가함을 시사한다.
• 앙상블 스프레드는 오직 미미한 이점을 제공하며, 스프레드를 포함하거나 제외한 모델 간의 로그우도 차이는 모든 리드 시간에서 0에서 10 사이로 변동한다.
• 앙상블 평균의 상대적 중요도는 리드 시간이 증가함에 따라 증가하며, 평균을 포함한 모델과 스프레드를 포함한 모델 간의 로그우도 차이 비율이 증가하는 것으로 나타났다.
• 제한된 데이터(1년, 1개 정류장)에도 불구하고 결과는 강인하며, 평균이 스프레드를 압도적으로 뛰어넘는다는 점이 너무 뚜렷하여 추가 데이터나 정류장이 추가되어도 변화하지 않을 가능성이 매우 낮다.
• 앙상블 스프레드의 외부 샘플 성능 향상이 이 데이터셋에서 감지되지 않아 외부 샘플 검증이 불가능하였으며, 이는 과적합을 방지하기 위해 저차원 모델을 사용한 내부 샘플 분석을 정당화한다.