[论文解读] Combining and Extremizing Real-Valued Forecasts

Ville Satopää, Lyle Ungar|arXiv (Cornell University)|Jun 21, 2015

Forecasting Techniques and Applications参考文献 25被引用 6

一句话总结

本文表明，对实值预测进行加权平均是次优的，因为它未能充分利用可用信息，导致过度自信且预测分辨率降低。本文提出一种线性极端化技术，系统性地将加权平均值从边际均值移开，通过更好地反映预测者的信息集合，从而提升校准性和预测准确性。

ABSTRACT

The weighted average is by far the most popular approach to combining multiple forecasts of some future outcome. This paper shows that both for probability or real-valued forecasts, a non-trivial weighted average of different forecasts is always sub-optimal. More specifically, it is not consistent with any set of information about the future outcome even if the individual forecasts are. Furthermore, weighted averaging does not behave as if it collects information from the forecasters and hence needs to be extremized, that is, systematically transformed away from the marginal mean. This paper proposes a linear extremization technique for improving the weighted average of real-valued forecasts. The resulting more extreme version of the weighted average exhibits many properties of optimal aggregation. Both this and the sub-optimality of the weighted average are illustrated with simple examples involving synthetic and real-world data.

研究动机与目标

• 识别非平凡加权平均在聚合实值预测时的根本次优性。
• 表明加权平均并未表现得如同从预测者处收集信息，导致预测不足。
• 提出一种系统性改进加权平均的合理方法，通过极端化实现。
• 在部分信息框架下，建立极端化预测能更好地反映个体预测的信息含量。
• 通过实证与理论分析，证明极端化在合成数据与真实世界数据中均能提升预测表现。

提出的方法

• 应用部分信息框架，建模预测者异质性如何源于其不同的信息集合。
• 将加权平均预测的方差表示为个体预测协方差矩阵的二次型。
• 提出一种线性极端化变换，根据预测方差结构，将加权平均值从边际均值系统性地拉远。
• 利用柯西-施瓦茨不等式，建立预测方差的理论边界，并识别极端化最优的条件。
• 通过最小化极端化预测与实际结果之间的均方误差，采用经验风险最小化方法。
• 使用合成数据与真实世界预测数据验证该方法，并与标准加权平均进行性能对比。

实验结果

研究问题

• RQ1 为何实值预测的加权平均在信息聚合方面是次优的？
• RQ2 加权平均如何未能反映个体预测的全部信息内容？
• RQ3 何种变换可系统性地改进加权平均，以更好地反映预测者的信息？
• RQ4 在何种条件下，极端化能实现最优或近似最优的预测表现？
• RQ5 所提出的极端化方法与标准聚合方法相比，在校准性与分辨率方面表现如何？

主要发现

• 非平凡加权平均实值预测是次优的，因为它未能充分利用预测者所掌握的信息。
• 加权平均持续低估预测方差，表现出过度自信，类似于概率预测中观察到的预测不足现象。
• 极端化提高了共识预测的方差，使其更接近数据生成过程中可实现的最大方差。
• 最优极端化系数由预测的协方差结构导出，确保极端化后的预测达到与数据一致的最高可能方差。
• 在合成数据与真实世界数据上的实证结果表明，极端化预测在均方误差与可靠性方面显著优于标准加权平均。
• 该方法具有鲁棒性：即使预测者的信息集合部分重叠，极端化仍能通过纠正平均过程中的信息损失，改善聚合效果。