[論文レビュー] The Murphy Decomposition and the Calibration-Resolution Principle: A New Perspective on Forecast Evaluation

Marc‐Oliver Pohle|arXiv (Cornell University)|May 4, 2020

Monetary Policy and Economic Impact被引用数 11

ひとこと要約

本稿は、予測誤差をずれ（系統的誤差）と解像度（情報含量）に分解することにより、点予測、予測区間、確率的予測のすべてのタイプを統一的に評価する枠組みとして、キャリブレーション・解像度の原則を導入する。一般化されたマーフィー分解を用いて、正確な予測は解像度を最大化し、ずれを最小化することを示し、確率的予測に限らないシャープネス原理の拡張を達成するとともに、一般的に用いられる評価手法における深刻な欠陥を明らかにするとともに、米国専門家予測調査（US SPF）および英銀行のファンチャートからの経済予測への実用的応用を示す。

ABSTRACT

I provide a unifying perspective on forecast evaluation, characterizing accurate forecasts of all types, from simple point to complete probabilistic forecasts, in terms of two fundamental underlying properties, autocalibration and resolution, which can be interpreted as describing a lack of systematic mistakes and a high information content. This "calibration-resolution principle" gives a new insight into the nature of forecasting and generalizes the famous sharpness principle by Gneiting et al. (2007) from probabilistic to all types of forecasts. It amongst others exposes the shortcomings of several widely used forecast evaluation methods. The principle is based on a fully general version of the Murphy decomposition of loss functions, which I provide. Special cases of this decomposition are well-known and widely used in meteorology. Besides using the decomposition in this new theoretical way, after having introduced it and the underlying properties in a proper theoretical framework, accompanied by an illustrative example, I also employ it in its classical sense as a forecast evaluation method as the meteorologists do: As such, it unveils the driving forces behind forecast errors and complements classical forecast evaluation methods. I discuss estimation of the decomposition via kernel regression and then apply it to popular economic forecasts. Analysis of mean forecasts from the US Survey of Professional Forecasters and quantile forecasts derived from Bank of England fan charts indeed yield interesting new insights and highlight the potential of the method.

研究の動機と目的

• 点予測、予測区間、確率的予測のすべてのタイプを統一的に評価するため、自己キャリブレーションと解像度という2つの基本的性質を同定すること。
• 情報含量や系統的誤差を評価できない、広く用いられている予測評価手法の限界を是正すること。
• Gneitingら（2007）のシャープネス原理を、自己キャリブレーションされた確率的予測に限定されない、すべての予測タイプに一般化すること。
• マーフィー分解を古典的評価ツールとしての役割にとどまらず、予測品質に関するより深い洞察を明らかにする理論的レンズとしても活用すること。
• 米国専門家予測調査（US SPF）および英銀行のファンチャートからの平均値と分位数予測を含む、経済予測の実証的分析を通じて、本手法の実用的価値を示すこと。

提案手法

• 損失関数の完全に一般化されたマーフィー分解を提案し、予測誤差をずれと解像度の2要素に分解する。
• 自己キャリブレーションを系統的誤差の不在と定義し、解像度を予測の情報含量と定義し、条件付き期待値および予測分布関数を用いる。
• 従来のビン分割法の代替として、局所線形（最小二乗または分位数）回帰を用いたカーネル回帰を採用し、分解における条件付き関数の推定を改善する。
• 分解を2通りの方法で適用する：(1) 理論的に、キャリブレーション・解像度の原則を導出する；(2) 実証的に、診断的予測評価手法として応用する。
• 平均値予測（US SPF）および分位数予測（英銀行のファンチャート）を分析し、予測先行期間および分位数レベルにわたるずれと解像度を評価する。
• 分解項に関する推論のためのフレームワークを提示し、確率的予測、期待値予測、アンサンブル予測の組み合わせへの拡張についても議論する。

実験結果

リサーチクエスチョン

• RQ1 点予測、予測区間、確率的予測のすべてのタイプを、キャリブレーションと解像度の基本的性質に基づいてどのように統一的に評価できるか？
• RQ2 広く用いられている予測評価手法が、情報含量や系統的誤差をどれほど正しく評価できていないか、その理論的・実務的限界は何か？
• RQ3 キャリブレーション・解像度の原則は、自己キャリブレーションされた確率的予測に限定されないシャープネス原理を、どのように一般化するか？
• RQ4 マーフィー分解を実世界の経済予測（米国専門家予測調査および英銀行のファンチャート）に適用した際に、どのような洞察が得られるか？
• RQ5 解像度分析によって明らかになる予測の限界と、価値ある情報含量を持つ最大の予測先行期間は何か？

主な発見

• 米国専門家予測調査（US SPF）の当四半期のインフレ率およびGDP成長率の平均値予測は、高い解像度（情報含量）を示すが、ずれはほぼゼロであり、系統的誤差がほとんどない強固な性能を示している。
• より長い予測先行期間では、平均値予測の情報含量がほぼゼロにまで低下し、US SPFの長期予測は当四半期を越えては予測的価値がほとんどないことを示唆している。
• 英銀行の確率的予測では、長期の先行期間および高い分位数においてずれのレベルにばらつきが見られ、インフレ率予測はGDP成長率予測よりも常に解像度と期待損失の点で優れていた。
• キャリブレーション・解像度フレームワークは、分位数レベルが上昇するほど予測先行期間が長くなるにつれて予測品質が劣化することを明らかにした。特にGDP成長率の長期予測において構造的な弱みが顕在化しており、長期経済予測の限界を示している。
• マーフィー分解は、長期予測ではずれが主要な誤差要因であることを特定した一方で、解像度は時間経過とともに低下しており、予測者が長期予測において過信または情報不足である可能性を示唆している。
• 本手法は古典的ベンチマークを上回り、従来は得られなかった予測品質に関する新たな洞察を明らかにした。これは、標準的な評価手法の補完的ツールとしての価値を示している。