[论文解读] Can Two Forecasts Have the Same Conditional Expected Accuracy?

Yinchu Zhu, Allan Timmermann|arXiv (Cornell University)|Jun 5, 2020

Monetary Policy and Economic Impact参考文献 13被引用 11

一句话总结

本文表明，在常见条件下，Giacomini-White（GW）检验在预测准确性相等性检验中会失效，因为原假设所要求的损失差异为鞅差序列（MDS）的条件在预测使用估计参数或标准随机过程下不成立。作者表明，损失差异的自相关性会导致GW检验出现严重的大小扭曲，因此提出了一种使用自标准化的稳健子样本t检验，用于检验无条件期望损失相等性。

ABSTRACT

The approach for testing equal predictive accuracy for pairs of forecasting models proposed by Giacomini and White (2006) assumes that the parameters of the underlying forecasting models are estimated using a rolling window of fixed width and incorporates the effect of parameter estimation in the null hypothesis. We show that a necessary and sufficient condition for the conditionally expected loss differential of two forecasting models to be a martingale difference sequence is that the outcome is a simple average of the two forecasts. When the forecasts contain parameter estimation errors, this means that the conditional mean of the outcome has to be a function of past estimation errors--a condition that fails in many situations. We also show that the null can fail even in the absence of parameter estimation for many types of stochastic processes in common use.

研究动机与目标

• 研究在现实预测条件下，Giacomini-White（GW）检验在预测准确性相等性检验中的有效性。
• 识别在何种情况下，相等条件期望预测准确性原假设会失效，特别是由于参数估计误差所致。
• 检验GW检验所要求的鞅差序列（MDS）条件在标准数据生成过程（DGPs）中是否成立。
• 提出一种避免序列相关性导致的大小扭曲的稳健替代检验方法，用于检验无条件期望损失相等性。
• 澄清预测准确性检验中条件原假设与无条件原假设之间的区别。

提出的方法

• 推导两个预测之间期望损失差异为鞅差序列（MDS）的条件，表明这要求结果为两个预测的简单平均值。
• 分析滚动窗口预测模型中参数估计的影响，证明估计误差会违反MDS条件。
• 使用渐近理论和泛函中心极限定理，推导在各种DGP下损失差异的极限分布。
• 提出一种使用自标准化的子样本t检验，以避免构建稳健标准误，从而在序列相关条件下确保有效推断。
• 应用Cramér-Wold引理和弱收敛性，建立在原假设下检验统计量的渐近分布。
• 使用强近似定理加强收敛结果，使损失差异的布朗运动近似成为可能。

实验结果

研究问题

• RQ1 在何种条件下，GW原假设——即期望损失差异为鞅差序列——不成立？
• RQ2 滚动窗口预测模型中的参数估计误差如何影响GW检验的有效性？
• RQ3 当底层数据生成过程（DGP）为标准随机过程（如ARMA或随机游走）时，MDS条件是否成立？
• RQ4 即使没有参数估计，GW检验是否仍可能因损失差异的自相关性而产生严重的大小扭曲？
• RQ5 是否存在一种有效的替代检验方法，用于检验无条件期望预测准确性相等性，且能避免GW检验的局限性？

主要发现

• 当预测基于估计参数时，GW原假设会失效，因为结果的条件期望依赖于过去的估计误差，从而违反MDS条件。
• 即使没有参数估计，对于许多标准DGP（如ARMA过程），MDS条件仍不成立，除非满足一个限制性的有限依赖条件。
• 在现实情境中，损失差异表现出显著的自相关性，导致在使用标准长期方差估计量时，GW检验出现严重的大小扭曲。
• GW检验统计量的渐近方差依赖于预测窗口大小 $ m $，其方差收敛于 $ \frac{4m^{-1}-4cm^{-1}\kappa_{1}+m^{-2}(\kappa_{2}+3)}{8m^{-1}+m^{-3}(\kappa_{2}-1)} $，当 $ m \to \infty $ 时该值不趋于零，表明推断结果非退化但可能存在偏差。
• 所提出的使用自标准化的子样本t检验在序列相关条件下能提供有效推断，且无需依赖稳健标准误。
• 在原假设下，检验统计量依分布收敛于t分布，其极限分布通过泛函中心极限定理和连续映射定理推导得出，确保了有限样本中的正确大小。