[논문 리뷰] Forecast score distributions with imperfect observations

Julie Bessac, Philippe Naveau|arXiv (Cornell University)|2018. 06. 10.

Meteorological Phenomena and Simulations참고 문헌 18인용 수 4

한 줄 요약

이 논문은 관측 오차를 은닉 변수와 조건부 기대값을 통해 모델링함으로써 검증 데이터의 불확실성을 고려하는 새로운 스코어링 규칙 프레임워크를 제안한다. 이는 관측치가 완벽하지 않을 경우 예측 평가를 향상시킨다. 주요 기여는 평균 스코어보다 분포 전체를 고려함으로써, 특히 비대칭 또는 꼬리가 두꺼운 분포와 노이즈가 많은 데이터에서 분류 능력을 향상시킨다는 점이다. 특히 워샤프스키 거리(Wasserstein distance)를 통해 스코어 분포의 전체성을 활용함으로써 성능이 향상된다.

ABSTRACT

The classical paradigm of scoring rules is to discriminate between two different forecasts by comparing them with observations. The probability distribution of the observed record is assumed to be perfect as a verification benchmark. In practice, however, observations are almost always tainted by errors and uncertainties. If the yardstick used to compare forecasts is imprecise, one can wonder whether such types of errors may or may not have a strong influence on decisions based on classical scoring rules. We propose a new scoring rule scheme in the context of models that incorporate errors of the verification data. We rely on existing scoring rules and incorporate uncertainty and error of the verification data through a hidden variable and the conditional expectation of scores when they are viewed as a random variable. The proposed scoring framework is compared to scores used in practice, and is expressed in various setups, mainly an additive Gaussian noise model and a multiplicative Gamma noise model. By considering scores as random variables one can access the entire range of their distribution. In particular we illustrate that the commonly used mean score can be a misleading representative of the distribution when this latter is highly skewed or have heavy tails. In a simulation study, through the power of a statistical test and the computation of Wasserstein distances between scores distributions, we demonstrate the ability of the newly proposed score to better discriminate between forecasts when verification data are subject to uncertainty compared with the scores used in practice. Finally, we illustrate the benefit of accounting for the uncertainty of the verification data into the scoring procedure on a dataset of surface wind speed from measurements and numerical model outputs.

연구 동기 및 목표

• 검증 데이터가 일반적으로 오차 없이 가정되지만, 실제는 장비 오차, 재분석 데이터, 간접 측정 등에서 발생하는 불확실성이 존재하므로, 이러한 중요한 평가 갭을 해결하기 위함이다.
• 진정한 기초 과정에 대한 명시적 지식이 없더라도, 검증 데이터의 불확실성을 스코어링 규칙에 통합할 수 있는 통계적으로 타당한 방법을 개발하기 위함이다.
• 특히 평균 스코어가 비대칭성이나 꼬리가 두꺼운 분포로 인해 실패할 경우, 관측치가 불완전할 때 예측 스코어의 분류 능력을 향상시키기 위함이다.
• 시뮬레이션과 실제 바람 속도 데이터를 통해, 스코어 분포 전체, 특히 워샤프스키 거리를 통해 평균 기반 스코어보다 예측 차이를 더 잘 감지할 수 있음을 보여주기 위함이다.

제안 방법

• 진정한(은닉된) 상태를 잠재변수로 모델링하고, 관측 데이터를 그 주변에 조건부로 분포시키며, 덧셈형 가우시안 및 곱셈형 감마 노이즈와 같은 오차 모델을 통합한다.
• 스코어를 랜덤 변수로 간주하고, 관측 데이터를 조건으로 한 스코어의 조건부 기대값을 유도함으로써, 검증 데이터의 불확실성이 스코어 함수로 전파될 수 있도록 한다.
• 1-워샤프스키 거리를 계산하기 위해 일반화된 역함수(분위수 함수)를 사용하여 스코어 분포 간의 차이를 정량화한다.
• 처리 가능성을 확보하기 위해 오차 모델이 알려져 있다고 가정하고(예: 정규분포 또는 감마분포), 이러한 가정 하에 조건부 스코어 분포에 대한 명시적 표현을 유도한다.
• 오차 구조가 알려진 시뮬레이션 데이터를 사용하여 프레임워크를 검증하고, ASOS와 WRF 모델 출력 자료에서 얻은 실제 표면 바람 속도 데이터에 적용한다.
• 통계적 검정력 분 析와 워샤프스키 거리 비교를 통해 다양한 스코어 체계에서의 분류 성능을 평가한다.

실험 결과

연구 질문

• RQ1 검증 데이터의 오차가 관측치가 완벽하다는 가정을 하는 전통적 스코어링 규칙의 신뢰성에 어떤 영향을 미치는가?
• RQ2 은닉 변수와 조건부 기대값을 통해 검증 데이터의 불확실성을 명시적으로 고려할 수 있는 스코어링 규칙 프레임워크를 구성할 수 있는가?
• RQ3 평균 스코어가 아닌 스코어의 전체 분포를 사용할 경우, 검증 데이터가 노이즈가 많을 때 예측 간의 차이를 구분하는 능력이 향상되는가?
• RQ4 데이터 불확실성 하에서 스코어 분포 간의 워샤프스키 거리가 평균 스코어에 비해 예측 차이 감지를 위해 얼마나 효과적인가?
• RQ5 진정한 예측값이 관측치에 가까울 때, 제안된 보정 스코어는 관측 오차에 대해 강인한가?

주요 결과

• 비대칭적이거나 꼬리가 두꺼운 분포일 경우 평균 스코어는 스코어 분포의 대표성을 잘 하지 못하며, 이는 예측 비교에서 오해를 낳을 수 있다.
• 특히 1-워샤프스키 거리를 통해 스코어 분포 전체를 고려할 경우, 평균 스코어에만 의존하는 것보다 스코어링 규칙의 분류 능력이 크게 향상된다.
• 스코어 분포 간의 워샤프스키 거리는 더 날카로운 기울기와 더 작은 애매함 영역를 보이며, 불완전한 데이터 하에서 예측 차이에 더 민감함을 나타낸다.
• 검증 데이터의 불확실성을 고려한 제안된 보정 스코어는 검증 데이터가 노이즈가 많을지라도 진짜 최소값에 가까운 최소 워샤프스키 거리를 달성한다.
• 시뮬레이션 결과, 기존 실무에서 사용하는 표준 스코어에 비해 새로운 프레임워크는 예측 간의 차이를 감지하는 데서 뛰어난 통계적 검정력을 보였다.
• 실제 표면 바람 속도 데이터에 대한 평가에서도, 장비 및 재분석 제품에서 발생하는 관측 오차가 존재하는 상황에서 예측 평가가 성공적으로 향상되었다.