[論文レビュー] Can Two Forecasts Have the Same Conditional Expected Accuracy?

Yinchu Zhu, Allan Timmermann|arXiv (Cornell University)|Jun 5, 2020

Monetary Policy and Economic Impact参考文献 13被引用数 11

ひとこと要約

本稿は、予測精度の等価性を検定するGiapomini-White（GW）検定が、一般的な状況下で失敗することを示している。これは、損失差分がマルティンググド・ディファレンス列（MDS）であるという帰無仮説が、予測に推定されたパラメータが用いられる場合、または標準的な確率過程の下で成り立たないためである。著者らは、損失差分における自己相関がGW検定に深刻なサイズの歪みを引き起こすことを示し、自己正規化を用いた有効なサブサンプリングt検定を、無条件期待損失の等価性を検定するために提案する。

ABSTRACT

The approach for testing equal predictive accuracy for pairs of forecasting models proposed by Giacomini and White (2006) assumes that the parameters of the underlying forecasting models are estimated using a rolling window of fixed width and incorporates the effect of parameter estimation in the null hypothesis. We show that a necessary and sufficient condition for the conditionally expected loss differential of two forecasting models to be a martingale difference sequence is that the outcome is a simple average of the two forecasts. When the forecasts contain parameter estimation errors, this means that the conditional mean of the outcome has to be a function of past estimation errors--a condition that fails in many situations. We also show that the null can fail even in the absence of parameter estimation for many types of stochastic processes in common use.

研究の動機と目的

• 実際の予測条件下におけるGiacomini-White（GW）検定の有効性を調査すること。
• 特にパラメータ推定誤差によって、等しい条件付き期待予測精度の帰無仮説がいつ失敗するかを特定すること。
• GWが要請するマルティンググド・ディファレンス列（MDS）条件が、標準的なデータ生成過程（DGP）で成り立つかどうかを検討すること。
• 系列相関に起因するサイズの歪みを回避する、無条件期待損失の等価性を検定するロバストな代替検定を提案すること。
• 予測精度検定における条件付き仮説と無条件仮説の区別を明確にすること。

提案手法

• 2つの予測の期待損失差分がマルティンググド・ディファレンス列（MDS）であるための条件を導出し、これは結果が2つの予測の単純平均である必要があることを示す。
• ローリングウィンドウ予測モデルにおけるパラメータ推定の影響を分析し、推定誤差がMDS条件を破ることを実証する。
• 漸近的理論および関数中心極限定理を用いて、さまざまなDGP下での損失差分の極限分布を導出する。
• ロバスト標準誤差の構築を回避するため、自己正規化を用いたサブサンプリングt検定を提案し、系列相関下でも有効な推論を保証する。
• Cramér-Woldの定理と弱収束を用いて、帰無仮説下での検定統計量の漸近的分布を確立する。
• 強近似定理を用いて収束結果を強化し、損失差分に対してブラウン運動近似を用いることを可能にする。

実験結果

リサーチクエスチョン

• RQ1 GW帰無仮説（期待損失差分がマルティンググド・ディファレンス列である）が成り立たない条件は何か？
• RQ2 ローリングウィンドウ予測モデルにおけるパラメータ推定誤差は、GW検定の有効性にどのように影響するか？
• RQ3 ARMAやランダムウォークなどの標準的な確率過程（DGP）の下で、MDS条件は成り立つか？
• RQ4 パラメータ推定がなければ、損失差分の自己相関がGW検定に深刻なサイズの歪みを引き起こす可能性はあるか？
• RQ5 GW検定の制限を回避する、無条件期待損失の等価性を検定する有効な代替検定は存在するか？

主な発見

• 予測に推定パラメータが用いられる場合、条件付き期待損失差分が過去の推定誤差に依存するため、MDS条件が破れ、GW帰無仮説が失敗する。
• パラメータ推定がなければ、ARMAプロセスなどの多くの標準的DGPでは、制限的な有限依存条件が満たされない限り、MDS条件は成り立たない。
• 現実的な状況下で損失差分は顕著な自己相関を示し、標準的な長期分散推定法を用いる場合、GW検定は深刻なサイズの歪みを示す。
• GW検定統計量の漸近的分散は予測ウィンドウサイズ $ m $ に依存し、$ \frac{4m^{-1}-4cm^{-1}\kappa_{1}+m^{-2}(\kappa_{2}+3)}{8m^{-1}+m^{-3}(\kappa_{2}-1)} $ に収束するが、$ m \to \infty $ のとき0に収束しないため、退化しないが偏りのある推論となる。
• 自己正規化を用いた提案されたサブサンプリングt検定は、系列相関下でも有効な推論を提供し、ロバスト標準誤差の必要性を回避する。
• 検定統計量は帰無仮説下でt分布に分布収束し、関数中心極限定理と連続写像定理を用いて極限分布が導出され、有限標本でも正しいサイズを保証する。