[論文レビュー] Decompositions of Proper Scores

Jochen Bröcker|arXiv (Cornell University)|Jun 4, 2008

Forecasting Techniques and Applications参考文献 20被引用数 1

ひとこと要約

本稿では、すべての厳密に適切なスコアリングルールが、信頼性と鋭さの成分に分解可能であることを示しており、Brierスコアの直感的な解釈可能性を、それらのスコア全般に拡張している。さらに、Brierスコアの凸性のおかげで予測値の平均化がスコアを改善することを示しており、これはすべての適切なスコアに共通する性質ではないため、予測値の組み合わせに関する認識論的問題を提起している。

ABSTRACT

Scoring rules are an important tool for evaluating the performance of probabilistic forecasts. A popular example is the Brier score, which allows for a decomposition into terms related to the sharpness (or information content) and to the reliability of the forecast. This feature renders the Brier score a very intuitive measure of forecast quality. In this paper, it is demonstrated that all strictly proper scoring rules allow for a similar decomposition into reliability and sharpness related terms. This finding underpins the importance of proper scores and yields further credence to the practice of measuring forecast quality by proper scores. Furthermore, the effect of averaging multiple probabilistic forecasts on the score is discussed. It is well known that the Brier score of a mixture of several forecasts is never worse that the average score of the individual forecasts. This property hinges on the convexity of the Brier score, a property not universal among proper scores. Arguably, this phenomenon portends epistemological questions which require clarification. 1

研究の動機と目的

• すべての厳密に適切なスコアリングルールが信頼性と鋭さの成分に分解可能であることを確立し、Brierスコアの解釈可能性を拡張すること。
• 確率的予測値の平均化がもたらす認識論的含意、特にスコアの向上に関して明確にすること。
• Brierスコアの凸性—平均化によってスコアが向上する性質—が、すべての適切なスコアルールに共通するかどうかを調査すること。
• 確率的予測値の評価において適切なスコアの使用の理論的・実用的意義を強化すること。

提案手法

• 凸解析と分解技術を用いた、厳密に適切なスコアリングルールの数学的構造の理論的分析。
• 任意の厳密に適切なスコアが信頼性と鋭さの項に分解可能な一般式の導出。
• Jensenの不等式を用いた、複数の予測値の平均化がスコアに与える影響の分析。
• Brierスコアの凸性と他の適切なスコアルールの凸性を比較し、平均化によるスコア向上が普遍的かどうかを評価すること。
• 関数解析を用いて、この分解がBrierスコアに限らず、すべての厳密に適切なスコアに適用可能であることを示すこと。
• 形式的証明により、信頼性項が予測値の不一致を捉え、鋭さ項が予測分布の情報量を反映することを示すこと。

実験結果

リサーチクエスチョン

• RQ1 Brierスコアがそうであるように、すべての厳密に適切なスコアリングルールが信頼性と鋭さの成分に分解可能か？
• RQ2 複数の予測値を平均化することでBrierスコアが向上するという性質は、他の適切なスコアルールにも一般化可能か？
• RQ3 Brierスコアの凸性は、予測値の平均化によるスコア向上を保証するための必要条件か？
• RQ4 適切なスコアリングルールの文脈において、予測値の平均化によるスコア向上がもたらす認識論的結果は何か？
• RQ5 信頼性と鋭さへの分解が、確率的予測評価の解釈可能性をどのように向上させるか？

主な発見

• すべての厳密に適切なスコアリングルールは、信頼性と鋭さの成分に分解可能であり、Brierスコアの解釈可能性が、適切なスコアの全クラスに拡張される。
• 信頼性項は予測値の不一致を定量化し、鋭さ項は予測分布の情報量または精度を反映する。
• Brierスコアが平均化によってスコアが向上するという性質は、その凸性に起因しており、これはすべての適切なスコアに共通する性質ではない。
• 非凸な適切なスコアルールでは、予測値の平均化がスコアを低下させる可能性があるため、スコア向上は普遍的ではない。
• この分解により、適切なスコアリングルールの理論的基盤が強化され、確率的予測評価におけるその使用がさらに裏付けられる。