[論文レビュー] The problem with the Brier score

Stephen Jewson|ArXiv.org|Jan 10, 2004

Meteorological Phenomena and Simulations参考文献 3被引用数 13

ひとこと要約

この論文は、気象学における二値確率予測の評価に広く用いられるブライアスコアが、単純な状況において直感に反する結果を生じることを主張している。たとえば、10%の確率で発生する出来事に対して、0%の予測が25%の予測よりも好まれるという結果が生じる。本稿では、ブライアスコアの代わりに、直感的思考と統計的原則により整合する尤度に基づく指標を提案しており、誤った極端な予測（0%または100%の確率）に対して強くペナルティを科す点が特徴である。

ABSTRACT

The Brier score is frequently used by meteorologists to measure the skill of binary probabilistic forecasts. We show, however, that in simple idealised cases it gives counterintuitive results. We advocate the use of an alternative measure that has a more compelling intuitive justification.

研究の動機と目的

• 理想化された状況において、ブライアスコアの直感に反する振る舞いのため、二値確率予測の評価に継続して使用を続けることの問題を提起すること。
• 誤った場合に十分にペナルティが科されない0%確率予測の扱いに内在する根本的欠陥を特定すること。
• ブライアスコアのより直感的で統計的に根拠のある代替指標として、尤度に基づくスコア手法を提案すること。
• ブライアスコアが失敗する状況において、尤度スコアが直感的思考と統計理論に基づき、より良い予測を正しく特定できることを示すこと。

提案手法

• 本稿は、10%の一定確率を持つ出来事と、0%および25%の一定予測確率を想定した単純な理想化例を用いる。
• 標準的な公式 b = <(f - o)²> を用いて、二つの予測のブライアスコア差を計算する。
• 尤度スコアを代替指標として導入し、L = Π_A f_i × Π_B (1 - f_i) と定義する。ここで A は出来事の発生集合、B は非発生集合である。
• 予測の比較を容易にするために、対数尤度 l = Σ_A ln(f_i) + Σ_B ln(1 - f_i) を導出する。
• 例におけるブライアスコアと尤度スコアの結果を比較し、ブライアスコアが誤って0%予測を好むのに対し、尤度スコアが正しく25%予測を好むことを示す。
• 尤度スコアが直感的であるのは、実際に観測された結果に最も高い確率を割り当てる予測を選択するからであると主張する。

実験結果

リサーチクエスチョン

• RQ1 ブライアスコアは、直感的な判断が明確な状況において、常により良い予測を正しく特定できるか？
• RQ2 誤った0%予測に対して、なぜブライアスコアが適切にペナルティを科さないのか？
• RQ3 尤度ベースのスコアは、二値確率予測の評価において、ブライアスコアのより直感的で統計的に妥当な代替指標として機能できるか？
• RQ4 ブライアスコアと比較して、尤度スコアは極端な予測（例：0%または100%）をどのように処理するか？
• RQ5 確率的予測評価において、直感的思考と統計理論の両方により良く整合する指標は存在するか？

主な発見

• 10%の出来事確率を想定した例において、ブライアスコアは誤って0%予測を25%予測よりも優れていると評価し、0%予測有利で+1/80のスコア差を示す。
• 尤度スコアは正しく25%予測を優れたものと特定しており、すべての標本サイズにおいて L₂ > L₁ が成り立つ。
• 尤度スコアは、出来事に0%または100%の確率を割り当てるいかなる予測に対してもスコア0（対数尤度 -∞）を割り当てる。これは、誤った場合にその予測が無効であるという直感と整合する。
• ブライアスコアは確率の絶対差に依存するが、0% vs. 10%の予測と40% vs. 50%の予測の間の差異が、直感的にははるかに重大であると認識されるのを反映していない。
• 尤度スコアは概念的に単純で直感的である：実際に観測された結果に最も高い確率を割り当てる予測を選択する。
• 本稿は、二値確率予測の評価において、ブライアスコアを尤度ベースの指標に置き換えるべきであると結論づける。