[论文解读] The Murphy Decomposition and the Calibration-Resolution Principle: A New Perspective on Forecast Evaluation

Marc‐Oliver Pohle|arXiv (Cornell University)|May 4, 2020

Monetary Policy and Economic Impact被引用 11

一句话总结

本文提出校准-分辨率原理作为统一评估所有预测类型（点预测、区间预测和概率预测）的框架，通过将预测损失分解为校准误差（系统性偏差）和分辨率（信息含量），利用广义的穆尔比分解，表明准确的预测应最大化分辨率并最小化校准误差，将格内廷等人（2007）的概率预测锐度原则推广至所有预测类型，揭示了现有评估方法中的关键缺陷，并在美国内阁经济预测调查（US Survey of Professional Forecasters）和英国央行扇形图（Bank of England fan charts）的经济预测中展示了其实际应用价值。

ABSTRACT

I provide a unifying perspective on forecast evaluation, characterizing accurate forecasts of all types, from simple point to complete probabilistic forecasts, in terms of two fundamental underlying properties, autocalibration and resolution, which can be interpreted as describing a lack of systematic mistakes and a high information content. This "calibration-resolution principle" gives a new insight into the nature of forecasting and generalizes the famous sharpness principle by Gneiting et al. (2007) from probabilistic to all types of forecasts. It amongst others exposes the shortcomings of several widely used forecast evaluation methods. The principle is based on a fully general version of the Murphy decomposition of loss functions, which I provide. Special cases of this decomposition are well-known and widely used in meteorology. Besides using the decomposition in this new theoretical way, after having introduced it and the underlying properties in a proper theoretical framework, accompanied by an illustrative example, I also employ it in its classical sense as a forecast evaluation method as the meteorologists do: As such, it unveils the driving forces behind forecast errors and complements classical forecast evaluation methods. I discuss estimation of the decomposition via kernel regression and then apply it to popular economic forecasts. Analysis of mean forecasts from the US Survey of Professional Forecasters and quantile forecasts derived from Bank of England fan charts indeed yield interesting new insights and highlight the potential of the method.

研究动机与目标

• 通过识别两个核心属性——自校准（autocalibration）和分辨率（resolution），统一点预测、区间预测和概率预测的评估方法。
• 解决广泛使用的预测评估方法的局限性，这些方法未能评估信息含量或系统性误差。
• 将格内廷等人（2007）提出的概率预测锐度原则推广至所有预测类型，而不仅限于自校准的概率预测。
• 不仅将穆尔比分解用作经典评估工具，更将其作为理论透镜，揭示预测质量的深层机制。
• 通过美国经济预测调查（US SPF）和英国央行扇形图的实证分析，展示该方法在实际中的应用价值。

提出的方法

• 提出损失函数广义版本的穆尔比分解，将预测误差分解为校准误差与分辨率两个部分。
• 将自校准定义为无系统性预测误差，将分辨率定义为预测的信息含量，使用条件期望和预测分布函数进行刻画。
• 采用核回归——特别是局部线性（最小二乘或分位数）回归——来估计分解中的条件泛函，优于传统分箱方法。
• 以两种方式应用该分解：（1）理论层面，推导出校准-分辨率原理；（2）实证层面，作为诊断性预测评估方法。
• 利用该分解分析均值预测（US SPF）和分位数预测（英国央行扇形图），评估不同预测时域和分位数水平下的校准误差与分辨率。
• 提出对分解项进行推断的框架，并讨论其向概率预测、期望值预测及调查预测组合的扩展。

实验结果

研究问题

• RQ1 如何通过校准与分辨率的基本属性，统一点预测、区间预测和概率预测的评估方法？
• RQ2 广泛使用的预测评估方法在多大程度上未能评估信息含量或系统性误差？其理论与实际局限性是什么？
• RQ3 校准-分辨率原理如何将格内廷等人（2007）的概率预测锐度原则推广至自校准概率预测之外的所有预测类型？
• RQ4 当将穆尔比分解应用于现实经济预测（如美国经济预测调查和英国央行扇形图）时，能揭示哪些新见解？
• RQ5 通过分辨率分析，预测的可预测性极限和具有信息价值的最大预测时域是什么？

主要发现

• 美国经济预测调查（US SPF）当前季度的通胀与GDP增长率点预测具有高分辨率（信息含量）且校准误差接近零，表明其表现优异且系统性偏差极小。
• 对于更长的预测时域，均值预测的信息含量几乎降至零，表明SPF中的长期预测在当前季度之后的预测价值有限。
• 英国央行的概率预测在更长时域和更高分位数下表现出不同程度的校准误差，其中通胀预测在分辨率和期望损失方面始终优于GDP增长率预测。
• 校准-分辨率框架揭示，随着分位数水平和预测时域的增加，预测质量下降，尤其在GDP增长率预测中表现结构性薄弱，凸显长期经济预测的系统性缺陷。
• 穆尔比分解表明，对于长时域预测，校准误差是主要误差来源，而分辨率随时间衰减，表明预测者在长时域可能过度自信或信息不足。
• 该方法优于经典基准，揭示了传统评估方法无法获得的预测质量新洞察，证明其作为标准评估技术的补充工具具有显著价值。