[논문 리뷰] Evaluating forecasts for high-impact events using transformed kernel scores

Sam Allen, David Ginsbourger외 1명|arXiv (Cornell University)|2022. 02. 25.

Meteorological Phenomena and Simulations인용 수 5

한 줄 요약

이 논문은 복합적인 기상 현상과 같은 고영향 사건의 예측을 평가하기 위해 커널 스코어를 기반으로 한 가중치가 부여된 다변량 스코어 규칙을 제안한다. 임계값 가중치가 부여된 CRPS가 커널 스코어임을 입증함으로써, 앙상블 평가의 효율성이 향상되고, 임계값 가중치가 부여된 에너지 스코어 및 변량 스코어와 같은 새로운 가중치 스코어로의 일반화가 가능해져, 개별 사건이 극단적이지 않더라도 고영향 결과를 예측하는 예측을 더 잘 식별할 수 있다.

ABSTRACT

It is informative to evaluate a forecaster's ability to predict outcomes that have a large impact on the forecast user. Although weighted scoring rules have become a well-established tool to achieve this, such scores have been studied almost exclusively in the univariate case, with interest typically placed on extreme events. However, a large impact may also result from events not considered to be extreme from a statistical perspective: the interaction of several moderate events could also generate a high impact. Compound weather events provide a good example of this. To assess forecasts made for high-impact events, this work extends existing results on weighted scoring rules by introducing weighted multivariate scores. To do so, we utilise kernel scores. We demonstrate that the threshold-weighted continuous ranked probability score (twCRPS), arguably the most well-known weighted scoring rule, is a kernel score. This result leads to a convenient representation of the twCRPS when the forecast is an ensemble, and also permits a generalisation that can be employed with alternative kernels, allowing us to introduce, for example, a threshold-weighted energy score and threshold-weighted variogram score. To illustrate the additional information that these weighted multivariate scoring rules provide, results are presented for a case study in which the weighted scores are used to evaluate daily precipitation accumulation forecasts, with particular interest on events that could lead to flooding.

연구 동기 및 목표

• 복합적이고 극단적이지 않은 조건에서 발생하는 고영향 사건 예측 평가에 있어 무가중치 스코어 규칙의 한계를 해결하기 위해.
• 조건부 음성정의(conditional negative definite, c.n.d.) 커널을 기반으로 한 스코어 규칙을 활용해 단변량 설정을 초월한 다변량 결과에 대한 가중치 스코어 규칙을 확장하기 위해.
• 특히 고영향 사건과 관련된 영역을 강조할 수 있는 민첩한 프레임워크를 개발하기 위해.
• 홍수 위험에 중점을 두고 강수량 누적 예측의 예측 성능을 무가중치 및 가중치 스코어를 모두 사용하여 평가하기 위해.
• 가중치가 부여된 커널 스코어가 무가중치 스코어와 다른 결론을 이끌어낼 수 있음을 입증하여, 고영향 사건에 대해 가장 잘 작동하는 예측 전략을 부각시키기 위해.

제안 방법

• 조건부 음성정의(c.n.d.) 커널을 기반으로 한 적절한 스코어 규칙인 커널 스코어를 활용하여 가중치가 부여된 다변량 스코어 규칙을 구성한다.
• 임계값 가중치가 부여된 연속적 랭크 확률 스코어(twCRPS)가 커널 스코어임을 증명함으로써, 앙상블 예측에 대한 효율적인 계산이 가능해진다.
• twCRPS를 다른 커널으로 일반화하여, 임계값 가중치가 부여된 에너지 스코어 및 임계값 가중치가 부여된 변량 스코어를 도입한다.
• 커널 스코어 프레임워크를 유지하면서도 다른 가중치 메커니즘을 제공하는 수직 재스케일링 커널 스코어를 제안한다.
• 일변량 및 다변량 설정 모두에서 엄밀히 적절한 스코어 규칙로 작동하며 강력한 식별 능력을 지닌 새로운 엄밀히 적절한 커널로 역다각형 커널(inverse multiquadric kernel)을 사용한다.
• 제안된 가중치 스코어를 메테오스위스의 일일 강수량 누적 예측에 적용하여, 무가중치 및 가중치 스코어를 모두 사용해 다변량 보정 방법을 비교한다.

Figure 1 : Common weight functions (top row) with corresponding chaining functions (middle row) and the resulting kernels to be employed in the twCRPS (bottom row). $\Phi(x;\mu,\sigma)$ and $\phi(x;\mu,\sigma)$ represent the distribution and density functions, respectively, of a normal distribution

실험 결과

연구 질문

• RQ1 고영향 사건 예측 평가를 향상시키기 위해 커널 스코어 프레임워크 내에서 가중치가 부여된 다변량 스코어 규칙을 구성할 수 있는가?
• RQ2 임계값 가중치가 부여된 CRPS는 커널 스코어인가? 그리고 이는 앙상블 예측에 대한 평가를 더 효율적으로 만들 수 있는가?
• RQ3 임계값 가중치가 부여된 에너지 스코어 및 변량 스코어는 무가중치 대비와 비교하여 고영향 사건 예측 성능 탐지에 얼마나 효과적인가?
• RQ4 실제 응용에서 가중치가 부여된 커널 스코어는 무가중치 스코어와 예측 품질에 대해 다른 결론을 이끌어내는가?
• RQ5 커널의 선택이 특정 영역, 특히 복합 고영향 사건과 관련된 영역에 대한 스코어 규칙의 민감도에 영향을 미치는가?

주요 결과

• 임계값 가중치가 부여된 CRPS가 공식적으로 커널 스코어임을 입증하여, 앙상블 예측에 대해 닫힌 형태의 표현식을 통해 활용이 가능해졌다.
• 이 프레임워크를 통해 twCRPS의 일반화가 다른 커널으로 가능해져, 임계값 가중치가 부여된 에너지 스코어 및 변량 스코어와 같은 새로운 가중치 스코어 규칙이 도출되었다.
• 수직 재스케일링 커널 스코어는 특정 조건 하에서 임계값 가중치와 동일한 효과를 갖는 대안적 가중치 메커니즘을 제공하며, 가능한 가중치 함수의 범위를 확장한다.
• 일일 강수량 누적 예측에 대한 사례 연구에서, 가중치 스코어는 무가중치 스코어와는 다를 바 있는 최적의 보정 방법을 식별하였다. 특히 홍수 위험 사건에 대해 뚜렷한 차이를 보였다.
• 역다각형 커널이 R^d 위의 모든 확률 측도에 대해 엄밀히 적절한 스코어 규칙임을 입증하였으며, 식별 능력 면에서 경쟁력이 있어 다변량 예측 평가에 적합하다.
• 가중치가 부여된 커널 스코어는 무가중치 스코어가 포착하지 못하는 고영향 영역에서의 예측 행동 차이를 탐지할 수 있다.

(a) $w(z)=\mathbbm{1}\{z_{1}+z_{2}\geq t\}$