[论文解读] Evaluating probabilistic forecasts of extremes using continuous ranked probability score distributions

Maxime Taillardat, Anne‐Laure Fougères+2 more|arXiv (Cornell University)|Jul 1, 2023

Financial Risk and Volatility Modeling参考文献 39被引用 5

一句话总结

本文提出了一种评估极端事件概率预测的新框架，将连续 ranked probability score（CRPS）视为随机变量，并利用极值理论（EVT）分析其尾部分布行为。作者基于CRPS分布上的Cramér-von Mises准则提出了一项新指标，该指标相较于传统的期望CRPS或加权CRPS，能更有效地捕捉校准后预测在极端尾部分布中的性能表现，尤其在预测校准的情况下表现更优。

ABSTRACT

Verifying probabilistic forecasts for extreme events is a highly active research area because popular media and public opinions are naturally focused on extreme events, and biased conclusions are readily made. In this context, classical verification methods tailored for extreme events, such as thresholded and weighted scoring rules, have undesirable properties that cannot be mitigated, and the well-known continuous ranked probability score (CRPS) is no exception. In this paper, we define a formal framework for assessing the behavior of forecast evaluation procedures with respect to extreme events, which we use to demonstrate that assessment based on the expectation of a proper score is not suitable for extremes. Alternatively, we propose studying the properties of the CRPS as a random variable by using extreme value theory to address extreme event verification. An index is introduced to compare calibrated forecasts, which summarizes the ability of probabilistic forecasts for predicting extremes. The strengths and limitations of this method are discussed using both theoretical arguments and simulations.

研究动机与目标

• 解决标准CRPS与加权CRPS在区分极端事件预测性能方面的局限性。
• 指出诸如CRPS等正确评分规则的期望值无法捕捉极端事件中尾部分布差异。
• 基于CRPS的分布特性，开发一种新的评估框架，以更准确地评估极端状态下的预测能力。
• 提出并验证一项新指标，用于总结预测极端事件的能力，同时考虑校准因素。
• 通过理论分析与模拟实验表明，将CRPS视为随机变量可揭示传统基于均值的评估方法所遗漏的关键尾部分布特征。

提出的方法

• 将CRPS视为随机变量而非确定性评分，从而能够分析其分布特性。
• 应用极值理论（EVT）对CRPS分布的尾部分布进行建模，并与观测数据的尾部分布进行比较。
• 提出一项基于Cramér-von Mises准则应用于CRPS值经验分布的新指标。
• 利用该指标比较不同尾部分布区间中的预测性能，尤其能有效区分校准与非校准的预测。
• 开展理论分析，建立CRPS分布的尾指数与观测分布尾指数之间的关联。
• 通过具有已知尾部分布特征的模拟实验（如广义帕累托分布、Fréchet分布）验证方法的有效性，并评估其在不同阈值与样本量下的稳健性。

实验结果

研究问题

• RQ1 为何标准CRPS与加权CRPS无法有效区分具有不同尾部分布特征的预测，即使这些预测已校准？
• RQ2 与期望值相比，CRPS的分布是否能为极端事件预测提供更优的区分能力？
• RQ3 CRPS的尾部分布行为如何与实际观测的尾部分布行为相关联？
• RQ4 所提出的基于Cramér-von Mises准则的指标在理论上与实证上，识别极端事件中更优预测的能力如何？
• RQ5 预测校准在多大程度上影响该新指标在极端事件评估中的可靠性？

主要发现

• 即使预测已校准，期望CRPS与加权CRPS仍无法可靠地区分具有不同尾部分布特征的预测。
• 当预测校准时，CRPS分布表现出重尾行为，其特征与观测数据的尾部分布高度一致。
• 所提出的基于Cramér-von Mises准则的指标在不同阈值下均能成功识别出理想预测为具有最高指标值，即使存在非校准的极端预测。
• 该指标在应用于校准预测时最为可靠，因为非校准预测可能导致指标值被错误地高估。
• 模拟结果表明，该指标能正确根据预测的尾部性能对预测进行排序，理想预测始终优于其他预测。
• 该方法揭示了传统评分平均方法无法捕捉尾部特定的预测能力，凸显了在极端事件验证中对评分规则进行分布分析的必要性。