[论文解读] Evaluating probabilistic forecasts with the R package scoringRules

Alexander I. Jordan, Fabian Krüger+1 more|arXiv (Cornell University)|Sep 14, 2017

Data Analysis with R被引用 15

一句话总结

本文介绍了 scoringRules R 包，用于通过合适的评分规则评估概率预测，使不同领域（如气象学和经济学）中竞争性统计模型的严格比较成为可能。通过实际案例研究展示了其实际应用，为研究人员提供了一套标准化、易用的工具，用于模型选择与性能评估。

ABSTRACT

Probabilistic forecasts in the form of probability distributions over future events have become popular in several fields including meteorology, hydrology, economics, and demography. In typical applications, many alternative statistical models and data sources can be used to produce probabilistic forecasts. Hence, evaluating and selecting among competing methods is an important task. The scoringRules package for R provides functionality for comparative evaluation of probabilistic models based on proper scoring rules, covering a wide range of situations in applied work. This paper discusses implementation and usage details, presents case studies from meteorology and economics, and points to the relevant background literature.

研究动机与目标

• 为解决气象学、水文学、经济学和人口学等领域日益增长的概率预测可靠评估需求。
• 为在概率预测中比较多种统计模型和数据源，提供一种实用且易访问的框架。
• 在 R 包中实现并记录合适的评分规则，以支持可重复且标准化的模型评估。
• 通过气象学和经济学中的实际案例研究，展示 scoringRules 包的实用性。

提出的方法

• 本文在 R 包 scoringRules 中实现了合适的评分规则（如对数评分、二次评分和球形评分）作为核心评估指标。
• 支持预测中常用的广泛概率分布，实现灵活的模型比较。
• 该包允许用户计算预测密度的评分，从而实现不同模型之间预测准确性的直接比较。
• 与标准 R 工作流集成，支持参数和非参数预测分布。
• 实现包含针对单变量和多变量预测的函数，扩展了其在各领域的适用性。
• 案例研究展示了评分规则在真实预测场景中的应用，验证了该方法论框架的有效性。

实验结果

研究问题

• RQ1 在实际应用中，如何客观比较多个统计模型的概率预测？
• RQ2 在真实预测中实施合适的评分规则进行模型评估时，面临哪些实际挑战？
• RQ3 scoringRules 包如何促进不同领域中概率预测评估的一致性和可重复性？
• RQ4 与传统的点预测评估相比，合适的评分规则在模型选择方面有何改进？
• RQ5 在气象学和经济学等不同预测场景中，不同评分规则的表现如何？

主要发现

• scoringRules 包提供了一个全面、用户友好的工具，用于通过合适的评分规则评估概率预测，增强了应用研究中的模型比较能力。
• 合适的评分规则能够实现一致且统计上可靠的预测分布评估，减少了模型选择中的偏差。
• 气象学和经济学的案例研究证明，评分规则能有效基于概率准确性识别出表现更优的预测模型。
• 该包支持广泛的概率分布，增强了其在科学和技术领域中的通用性。
• 将评分规则集成到标准 R 工作流中，促进了预测研究中的可重复性和透明度。
• 该方法使研究人员能够超越点预测，评估完整的预测分布，从而支持更明智的决策制定。