[論文レビュー] Evaluating Point Forecasts

Tilmann Gneiting|arXiv (Cornell University)|Dec 4, 2009

Forecasting Techniques and Applications被引用数 4

ひとこと要約

この論文は、スコア関数が予測タスクと適切に整合されていない限り、一般的な点予測評価手法が誤った結果をもたらす可能性があることを示している。一貫性と発掘可能性の概念を導入し、スコア関数が事前に指定されている場合、またはスコア関数が平均や分位数のような統計的機能に対して一貫している場合、最適な予測はベイズ規則であることを示している。

ABSTRACT

Typically, point forecasting methods are compared and assessed by means of an error measure or scoring function, such as the absolute error or the squared error. The individual scores are then averaged over forecast cases, to result in a summary measure of the predictive performance, such as the mean absolute error or the (root) mean squared error. I demonstrate that this common practice can lead to grossly misguided inferences, unless the scoring function and the forecasting task are carefully matched. Effective point forecasting requires that the scoring function be specified ex ante, or that the forecaster receives a directive in the form of a statistical functional, such as the mean or a quantile of the predictive distribution. If the scoring function is specified ex ante, the forecaster can issue the optimal point forecast, namely, the Bayes rule. If the forecaster receives a directive in the form of a functional, it is critical that the scoring function be consistent for it, in the sense that the expected score is minimized when following the directive. A functional is elicitable if there exists a scoring function that is strictly consistent for it. Expectations, ratios of expectations and quantiles are elicitable. For example, a scoring function is consistent for the mean functional if and only if it is a Bregman function. It is consistent for a quantile if and only if it is generalized piecewise linear. Similar characterizations apply to ratios of expectations and to expectiles. Weighted scoring functions are consistent for functionals that adapt to the weighting in peculiar ways. Not all functionals are elicitable; for instance, conditional value-at-risk is not, despite its popularity in quantitative finance.

研究の動機と目的

• 平均二乗誤差のような任意のスコア関数を用いた標準的な点予測評価の欠陥を特定すること。
• 予測の正確性がスコア関数を予測タスクまたは統計的機能に正確に一致させることに大きく依存することを確立すること。
• 与えられた機能（例：平均や分位数）に対してスコア関数が一貫するための条件を形式化すること。
• 厳密に一貫するスコア関数が存在する関数（発掘可能）である関数と、そうでない関数（例：条件付きリスク価値）を明確にすること。
• 実務において適切なスコア関数を選択するための理論的基盤を提供し、最適かつ信頼性のある予測を保証すること。

提案手法

• 予測が機能と一致するとき、期待スコアを最小化するスコア関数を、統計的機能に対して一貫するものと定義する。
• 一貫するスコア関数の特徴付け：平均に対してはブレグマン関数、分位数に対しては一般化区分線形関数。
• 発掘可能な関数の概念を導入し、厳密に一貫するスコア関数が存在する関数を定義する。
• 重み付きスコア関数と、重み構造に応じて適応する関数との関係を分析する。
• 数学的特徴付けを用いて、すべての関数が発掘可能ではないこと（例：条件付きリスク価値）を示す。
• スコア関数が事前に指定されている場合、最適な点予測はベイズ規則であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 なぜ平均二乗誤差のような一般的なスコア関数を用いた標準的な予測評価が、誤った結論を導く可能性があるのか？
• RQ2 与えられた統計的機能（例：平均や分位数）に対してスコア関数が一貫するためには、どのような条件を満たす必要があるのか？
• RQ3 どの統計的関数が発掘可能であり、その一貫するスコア関数の特徴は何か？
• RQ4 なぜ金融分野で広く使われているにもかかわらず、条件付きリスク価値は発掘可能ではないのか？
• RQ5 重み付きスコア関数と関数との相互作用は何か？予測最適化にどのような影響を与えるか？

主な発見

• 信頼性のある評価と最適な点予測を保証するためには、予測される機能に対してスコア関数が一貫している必要がある。
• 平均関数は発掘可能であり、一貫するスコア関数はブレグマン関数として特徴付けられる。
• 分位数も発掘可能であり、一貫するスコア関数は一般化区分線形関数として特徴付けられる。
• 期待値の比と期待値統計量（expectiles）も発掘可能であり、対応する一貫するスコア関数の特徴付けが存在する。
• 条件付きリスク価値は発掘可能ではなく、したがって一貫してその関数を特定するスコア関数は存在しない。これは、その関数を予測評価に用いることの根拠を揺るがす。
• スコア関数が事前に指定されている場合、最適な点予測はベイズ規則であり、期待損失を最小化する。