[論文レビュー] Use of the likelihood for measuring the skill of probabilistic forecasts

Stephen Jewson|ArXiv.org|Aug 12, 2003

Meteorological Phenomena and Simulations参考文献 6被引用数 10

ひとこと要約

本稿では、すべての気象変数、予報リードタイム、および場所において、確率的予報のスキルを評価するための統一的で数学的に最適なフレームワークとして、尤度を提案する。尤度に基づくスコアは、予報誤差が自己相関を示す場合でも、古典的推定理論に根ざした単一の統計的枠組みに基づき、一貫性のあるキャリブレーションと評価を提供するため、従来の指標（RMSE や無知スコア）を一般化・上回ることが示された。

ABSTRACT

We define the likelihood and give a number of justifications for its use as a skill measure for probabilistic forecasts. We describe a number of different scores based on the likelihood, and briefly investigate the relationships between the likelihood, the mean square error and the ignorance.

研究の動機と目的

• すべての気象変数および予報設定に適用可能な、一貫した確率的予報スキルの測定指標を開発すること。
• RMSE やブライアスコアといった既存指標の限界を克服し、古典的推定理論に裏付けられた統計的に最適な代替指標を提供すること。
• 尤度に基づくフレームワークを用いて、予報キャリブレーションと評価を統合し、モデリングと検証の両側面で一貫性を確保すること。
• 尤度と他の確立されたスコア（無知スコアや RMSE）との関係、特に自己相関のある誤差下での関係を調査すること。
• 複数変数、複数場所、複数リードの予報を、一貫したスコアで統合的に評価できる仕組みを可能にすること。

提案手法

• フィッシャー（1912）が提唱した標準的な統計的定義に従い、尤度を「予報分布が与えられたもとでの観測データの確率」と定義する。
• 解釈可能でスケール圧縮されたスキルスコアを得るため、対数尤度（LL）およびその負の値（MLL）を用い、MLLが小さいほど良い予報とみなす。
• 予報誤差の共分散行列 Σ を組み込んだ多変量正規分布の尤度を導出することで、時系列的および変数間の相関を考慮する。
• 尤度最大化によるパrameter推定（キャリブレーション）と、尤度に基づくスキルスコア（評価）を、一貫した方法で適用する。
• 独立同一分布に従う正規誤差下では、尤度と RMSE の順位付けが等価であることを示し、尤度が自己相関のある誤差構造への RMSE の一般化であることを示す。
• 誤差が非相関であり、かつ1つの変数／場所／リードのみを対象とする場合、無知スコア（Roulston & Smith, 2002）が尤度の特別な場合であることを示す。

実験結果

リサーチクエスチョン

• RQ1 尤度は、変数、リードタイム、場所に関係なく、あらゆるタイプの確率的予報に適用可能な汎用的で数学的に最適なスキル指標として機能できるか？
• RQ2 予報誤差が自己相関を示す場合、尤度に基づくフレームワークは RMSE や無知スコアと比べて、予報の順位付けにおいてどのように異なるか？
• RQ3 キャリブレーション段階で、予報誤差共分散行列を正確に推定する必要があるのか、それとも誤差を非相関と仮定する簡略化仮定で十分で、予報順位付けの歪みが生じないか？
• RQ4 尤度と、連続ランク確率スコアやブライアスコアといった他の確立されたスコアリングルールとの関係は何か？
• RQ5 尤度をキャリブレーション（パrameterフィッティング）と評価（スキルスコア）の両方で一貫して用いることは可能か？これにより、統計的モデリングプロセス全体の整合性が保たれるか？

主な発見

• 尤度は、標準的な正則性条件の下で、最も正確な推定が得られるという点で、確率的予報評価のための一貫的で最適なフレームワークを提供する。
• とくに負の対数尤度（MLL）は、予報誤差が独立同一分布に従う正規分布の場合、RMSE と数学的に等価であり、尤度が自己相関のある誤差構造への RMSE の一般化であることを示している。
• 誤差が非相関であると仮定すると、無知スコアは負の対数尤度と等価となるため、尤度は多変数・多リード・相関のある誤差状況への無知スコアの一般化である。
• 尤度フレームワークは、複数変数・複数場所・複数リードの予報を、それらが相関を示しても一括して扱えるスコアとして自然に処理できる。
• キャリブレーションと評価の両方で尤度を用いることで、モデリングプロセス全体に一貫性が保たれ、広範なモデリング作業における標準的統計的手法と整合する。
• 本稿では、予報誤差共分散行列を近似すること（例：誤差を非相関と仮定すること）が、実際の予報順位付けに顕著な歪みをもたらさない可能性が示唆されているが、これについてはさらなる検討が必要である。