[论文解读] Decompositions of Proper Scores

Jochen Bröcker|arXiv (Cornell University)|Jun 4, 2008

Forecasting Techniques and Applications参考文献 20被引用 1

一句话总结

本文证明了所有严格 proper scoring rules均可分解为可靠性与精确性两部分，将Brier评分的直观可解释性扩展至所有此类评分。此外，本文还表明由于Brier评分的凸性，平均化预测可提升其评分，而这一性质并非所有proper scores所共有，从而引发关于预测组合的形而上学问题。

ABSTRACT

Scoring rules are an important tool for evaluating the performance of probabilistic forecasts. A popular example is the Brier score, which allows for a decomposition into terms related to the sharpness (or information content) and to the reliability of the forecast. This feature renders the Brier score a very intuitive measure of forecast quality. In this paper, it is demonstrated that all strictly proper scoring rules allow for a similar decomposition into reliability and sharpness related terms. This finding underpins the importance of proper scores and yields further credence to the practice of measuring forecast quality by proper scores. Furthermore, the effect of averaging multiple probabilistic forecasts on the score is discussed. It is well known that the Brier score of a mixture of several forecasts is never worse that the average score of the individual forecasts. This property hinges on the convexity of the Brier score, a property not universal among proper scores. Arguably, this phenomenon portends epistemological questions which require clarification. 1

研究动机与目标

• 建立所有严格 proper scoring rules 均可分解为可靠性与精确性分量，从而推广Brier评分的可解释性。
• 阐明平均化概率预测的形而上学含义，特别是关于评分提升的问题。
• 探究Brier评分的凸性特征——即平均化可提升评分——是否为所有 proper scoring rules 所共有。
• 强化使用 proper scores 评估概率预测的理论与实际重要性。

提出的方法

• 使用凸分析与分解技术，对严格 proper scoring rules 的数学结构进行理论分析。
• 推导任意严格 proper score 分解为可靠性与精确性项的一般公式。
• 应用詹森不等式分析多个预测平均化对评分的影响。
• 比较Brier评分的凸性与其他 proper scoring rules 的凸性，以评估平均化是否普遍带来评分提升。
• 使用泛函分析证明该分解不仅适用于Brier评分，也适用于所有严格 proper scores。
• 正式证明可靠性项捕捉了预测的校准偏差，而精确性项则反映了预测分布的信息含量。

实验结果

研究问题

• RQ1 所有严格 proper scoring rules 是否均可如Brier评分一样，分解为可靠性与精确性分量？
• RQ2 在平均化预测时Brier评分的提升是否可推广至其他 proper scoring rules？
• RQ3 Brier评分的凸性是否为通过平均化实现评分提升的必要条件？
• RQ4 在 proper scoring rules 的语境下，平均化预测导致评分提升的形而上学后果是什么？
• RQ5 可靠性与精确性分解如何增强概率预测评估的可解释性？

主要发现

• 所有严格 proper scoring rules 均可分解为可靠性与精确性分量，将Brier评分的可解释性推广至整个 proper scores 类别。
• 可靠性项量化了预测的校准偏差，而精确性项则反映了预测分布的信息含量或精度。
• Brier评分在平均化下表现改善，其原因在于其凸性，而这一特性并非所有 proper scoring rules 所共有。
• 在非凸 proper scoring rules 下，预测平均化可能导致评分下降，表明评分提升并非普遍成立。
• 通过该分解，proper scoring rules 的理论基础得到加强，进一步巩固了其在概率预测评估中的应用价值。