[論文レビュー] Evaluating probabilistic forecasts of extremes using continuous ranked probability score distributions

Maxime Taillardat, Anne‐Laure Fougères+2 more|arXiv (Cornell University)|Jul 1, 2023

Financial Risk and Volatility Modeling参考文献 39被引用数 5

ひとこと要約

本稿では、連続ランク確率スコア（CRPS）を確率的変数として扱い、極端な出来事に対する予測の評価のための新しいフレームワークを提案する。極値理論（EVT）を用いてCRPSの尾部挙動を分析することで、従来の期待CRPSや重み付きCRPSに比べ、特に予測がキャリブレーションされている場合に、予測性能の尾部における差をよりよく捉えることができる。

ABSTRACT

Verifying probabilistic forecasts for extreme events is a highly active research area because popular media and public opinions are naturally focused on extreme events, and biased conclusions are readily made. In this context, classical verification methods tailored for extreme events, such as thresholded and weighted scoring rules, have undesirable properties that cannot be mitigated, and the well-known continuous ranked probability score (CRPS) is no exception. In this paper, we define a formal framework for assessing the behavior of forecast evaluation procedures with respect to extreme events, which we use to demonstrate that assessment based on the expectation of a proper score is not suitable for extremes. Alternatively, we propose studying the properties of the CRPS as a random variable by using extreme value theory to address extreme event verification. An index is introduced to compare calibrated forecasts, which summarizes the ability of probabilistic forecasts for predicting extremes. The strengths and limitations of this method are discussed using both theoretical arguments and simulations.

研究の動機と目的

• 標準的なCRPSおよび重み付きCRPSが極端な出来事の予測性能を区別できないという限界に対処すること。
• CRPSのような適切なスコアリングルールの期待値が、極端な出来事における尾部挙動の違いを捉えられないことの特定。
• CRPSの分布的性質に基づく、極端な状態における予測スキルをよりよく評価するための新しい評価フレームワークの開発。
• キャリブレーションを考慮しながら極端な出来事を予測する能力を要約する新しいインデックスの提案と検証。
• 理論とシミュレーションを通じて、CRPSを確率的変数として見た場合、平均に基づく評価では見過ごされる重要な尾部挙動が明らかになることの提示。

提案手法

• CRPSを決定的スコアではなく確率的変数として扱い、その分布的性質の分析を可能にする。
• 極値理論（EVT）を用いてCRPS分布の尾部挙動をモデル化し、観測データの尾部と比較する。
• 実証的CRPS値の分布にCramér-von Mises基準を適用した新しいインデックスを導入する。
• このインデックスを用いて、特にキャリブレーション済みと非キャリブレーション済みの予測を区別する尾部レジームにおける予測性能を比較する。
• CRPS分布の尾指数と観測分布の尾指数との間の理論的関係を分析する。
• 一般化パレート分布やFréchet分布などの既知の尾部挙動を持つシミュレーションを用いて手法を検証し、さまざまなしきい値と標本サイズにおける頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なCRPSおよび重み付きCRPSは、尾部挙動が異なる予測であっても、極端な出来事における性能を区別できないのか？
• RQ2 期待値ではなく、CRPSの分布を用いることで、極端な出来事の予測における性能差をよりよく区別できるか？
• RQ3 CRPSの尾部挙動は、実際の観測の尾部挙動とどのように関係しているか？
• RQ4 提案されたCramér-von Mises基準に基づくインデックスの理論的および実証的性能は、極端な出来事の優れた予測を特定する上でどの程度高いか？
• RQ5 予測のキャリブレーションが、極端な出来事評価におけるこの新しいインデックスの信頼性にどの程度影響を与えるか？

主な発見

• 期待CRPSおよび重み付きCRPSは、予測がキャリブレーションされていても、尾部挙動が異なる予測を信頼性を持って区別できない。
• CRPS分布は、特に予測がキャリブレーションされている場合、観測の尾部挙動を反映した重尾的挙動を示す。
• 提案されたCramér-von Mises基準に基づくインデックスは、非キャリブレーション済みの極端な予測が存在する状況下でも、理想の予測が最も高いインデックス値を示すことを正しく識別する。
• インデックスは、予測がキャリブレーションされている場合に最も信頼性が高く、非キャリブレーション済みの予測では誤って高いインデックス値を示す可能性がある。
• シミュレーションでは、インデックスが予測の尾部性能に応じて正しい順位付けを行い、理想の予測が一貫して他の予測を上回ることを示した。
• 本手法は、従来のスコア平均化が尾部固有の予測スキルを捉えられていないことを明らかにした。これは、極端な出来事の検証において、スコアリングルールの分布的分析の必要性を強調する。