[论文解读] Evaluating Probabilistic Forecasts with scoringRules

Alexander I. Jordan, Fabian Krüger+1 more|arXiv (Cornell University)|Sep 14, 2017

Meteorological Phenomena and Simulations参考文献 11被引用 38

一句话总结

本文介绍了 R 包 scoringRules，该包提供了高效且数值稳定的合适评分规则实现，例如 CRPS、对数评分、能量评分和变差评分，用于评估概率预测。它支持在实际应用中对参数化和模拟的预测分布进行比较评估，已在气象学和经济学中得到应用验证。

ABSTRACT

Probabilistic forecasts in the form of probability distributions over future events have become popular in several fields including meteorology, hydrology, economics, and demography. In typical applications, many alternative statistical models and data sources can be used to produce probabilistic forecasts. Hence, evaluating and selecting among competing methods is an important task. The scoringRules package for R provides functionality for comparative evaluation of probabilistic models based on proper scoring rules, covering a wide range of situations in applied work. This paper discusses implementation and usage details, presents case studies from meteorology and economics, and points to the relevant background literature.

研究动机与目标

• 提供一个全面、用户友好的 R 包，用于计算合适评分规则，以评估概率预测。
• 支持在实际预测场景中对竞争性统计模型进行比较评估，包括参数化和非参数化（基于样本）的预测分布。
• 解决在气象学、经济学和水文学等领域中，为从多个预测模型中做出原则性、统计上可靠的模型选择而对工具的需求。
• 实现高效、闭式表达式和数值算法的评分规则，包括能量评分和变差评分等多变量扩展。
• 实现与 R 中常见建模工作流的无缝集成，包括贝叶斯和频率学派的预测方法。

提出的方法

• 使用闭式解析表达式，实现对参数化预测分布的连续秩概率评分（CRPS）和对数评分（LogS）。
• 通过经验近似方法，对基于蒙特卡洛样本定义的预测分布，进行评分规则的数值计算。
• 通过能量评分（ES）和变差评分（VS^p），支持多变量预测评估，支持可配置的权重和阶数。
• 设计 S3 通用函数（如 crps()、logs()）及其针对数值向量和模型对象的方法，支持对自定义类的可扩展性。
• 在 R 中使用高效的数值积分和向量化操作，确保在大规模预测评估任务中的计算性能。
• 在默认选择中融入统计原则，确保通过合适评分规则激励预测者报告其真实信念。

实验结果

研究问题

• RQ1 在实际研究中，如何系统地使用合适评分规则比较多个竞争模型的概率预测？
• RQ2 对于参数化和模拟的预测分布，CRPS 和 LogS 等评分规则的最有效且计算高效的实现方式是什么？
• RQ3 能量评分和变差评分等多变量评分规则如何在实践中应用于联合预测分布的评估？
• RQ4 scoringRules R 包在未来预测应用中，可通过哪些方式扩展以支持新的模型类和评分规则？
• RQ5 在真实世界预测场景中，如气象集合预测或经济通胀预测，不同评分规则的表现如何？

主要发现

• scoringRules 包为参数化和模拟的预测分布，提供了高效且数值稳定的 CRPS、LogS、能量评分和变差评分实现。
• 在经济案例研究的多变量预测情形中，能量评分（ES）计算结果为 4.13，变差评分（VS^p, p=0.5）为 7.05，展示了在真实数据上的实际评估能力。
• 该包通过在多个预测案例上聚合评分，支持在多个预测时域和模型之间进行比较预测评估。
• 实现中包含可扩展的 S3 通用函数，可扩展至自定义模型类，例如来自 crch 包的 'crch' 对象，从而实现与现有建模流程的集成。
• 该包避免了绝对预测评估（如 PIT 直方图），仅专注于通过合适评分规则进行比较评估。
• 未来扩展可能包括新型评分规则（如 Dawid-Sebastiani 评分）以及基于需求和解析可用性的额外参数族。