[論文レビュー] Multivariate Forecasting Evaluation: On Sensitive and Strictly Proper Scoring Rules

Florian Ziel, Kevin Berk|arXiv (Cornell University)|Oct 16, 2019

Forecasting Techniques and Applications被引用数 13

ひとこと要約

この論文は、エネルギー得点のような広く使われている得点の限界を補うために、依存構造の誤差に敏感な、新しいコプーラベースのスコアリングルールを提案する。シミュレーションおよび実データを用いた実験により、提案されたコプーラ得点は、正しい・誤った依存関係を持つモデルを強く区別できるが、エネルギー得点は以前の研究がその識別力に懐疑的であったにもかかわらず、依然として有効であることが示された。

ABSTRACT

In recent years, probabilistic forecasting is an emerging topic, which is why there is a growing need of suitable methods for the evaluation of multivariate predictions. We analyze the sensitivity of the most common scoring rules, especially regarding quality of the forecasted dependency structures. Additionally, we propose scoring rules based on the copula, which uniquely describes the dependency structure for every probability distribution with continuous marginal distributions. Efficient estimation of the considered scoring rules and evaluation methods such as the Diebold-Mariano test are discussed. In detailed simulation studies, we compare the performance of the renowned scoring rules and the ones we propose. Besides extended synthetic studies based on recently published results we also consider a real data example. We find that the energy score, which is probably the most widely used multivariate scoring rule, performs comparably well in detecting forecast errors, also regarding dependencies. This contradicts other studies. The results also show that a proposed copula score provides very strong distinction between models with correct and incorrect dependency structure. We close with a comprehensive discussion on the proposed methodology.

研究の動機と目的

• 多変量確率的予測のための効果的な評価手法、特に依存構造の評価における欠如を是正すること。
• 先行研究が示唆するように、エネルギー得点が依存構造の違いを検出できないという一般的な懐疑を揺るがすこと。
• コプーラ理論を用いて、依存構造の誤差に敏感な厳密な適正スコアリングルールを構築すること。
• マージナルとコプーラスコアを統合した柔軟なフレームワークを提供し、包括的な多変量予測評価を実現すること。
• 合成データ、実世界のデータ（航空機の乗客数）、統計的検定（Diebold-Mariano検定）を用いて、提案手法の妥当性を検証すること。

提案手法

• スクラーの定理を活用し、多変量分布をマージナル分布とコプーラに分解することで、依存構造を一意に特定する。
• コプーラに基づく新しい厳密な適正スコアリングルール（「コプーラ得点」として命名）を提案し、依存構造の正確性を評価する。
• エネルギー得点やログ得点などのマージナルスコアリングルールと組み合わせることで、完全な多変量評価のための統合的かつ厳密な適正スコアリングルールを構築する。
• 実用的適用を確保するため、経験的尤度やシミュレーションベースの手法を含む、効率的なスコアリングルール推定技術を採用する。
• 異なるスコアリングルールの性能を統計的に比較するために、Diebold-Mariano検定を適用する。
• 既知の依存構造（例：ガウス・コプーラ、t-コプーラ）を有するシミュレーションスタディと、実データ（航空機乗客数）を用いて、手法の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 先行研究が主張するように、エネルギー得点は本当に依存構造の違いに対して感受性を欠いているのだろうか？
• RQ2 厳密な適正性を備え、依存構造の誤差に非常に感受性が高いコプーラベースのスコアリングルールを構築できるのだろうか？
• RQ3 提案されたマージナル-コプーラスコアは、エネルギー得点やバリオグラム得点などの既存の多変量スコアリングルールと比較して、予測誤差を検出する能力に優れているのだろうか？
• RQ4 コプーラ得点は、正しい・誤った依存構造を持つモデルを区別する実証的性能を示すのだろうか？
• RQ5 モデルの誤特定や実世界の予測状況下でも、提案されたスコアリングルールはどれほど頑健であるのだろうか？

主な発見

• エネルギー得点は、依存構造関連の予測誤差を検出する能力において、以前の主張とは対照的に、良好な性能を示した。
• 提案されたコプーラ得点は、正しい・誤った依存構造を持つモデルを区別する能力に優れており、特に誤った相関構造の検出において顕著な優位性を示した。
• シミュレーションスタディにおいて、コプーラ得点は、非ガウス的かつ裾の重たい分布の設定下でも、エネルギー得点を常に上回り、依存構造の誤差を識別する能力に優れていた。
• Diebold-Mariano検定の結果、誤ったコプーラを有するモデルを評価する際、中程度のサンプルサイズでもコプーラ得点の優位性が統計的に有意であった。
• マージナルスコアとコプーラスコアの組み合わせにより、マージナルおよび依存誤差の両方に感受性を持つ厳密な適正スコアリングルールが得られ、全体的な予測評価が向上した。
• 航空機乗客数データを用いた実データ例から、コプーラ得点が実用的な多変量予測状況における手法的優位性を確認した。