[論文レビュー] Evaluating Probabilistic Forecasts with scoringRules

Alexander I. Jordan, Fabian Krüger+1 more|arXiv (Cornell University)|Sep 14, 2017

Meteorological Phenomena and Simulations参考文献 11被引用数 38

ひとこと要約

本論文は、CRPS、対数スコア、エネルギー スコア、および変動スコアなどの適切なスコアリングルールの効率的で数値的に安定した実装を提供するRパッケージ scoringRules を紹介する。このパッケージは、応用的状況下でのパラメトリックおよびシミュレートされた予測分布の比較的評価を可能にし、気象学および経済学分野での応用が実際に示されている。

ABSTRACT

Probabilistic forecasts in the form of probability distributions over future events have become popular in several fields including meteorology, hydrology, economics, and demography. In typical applications, many alternative statistical models and data sources can be used to produce probabilistic forecasts. Hence, evaluating and selecting among competing methods is an important task. The scoringRules package for R provides functionality for comparative evaluation of probabilistic models based on proper scoring rules, covering a wide range of situations in applied work. This paper discusses implementation and usage details, presents case studies from meteorology and economics, and points to the relevant background literature.

研究の動機と目的

• 確率的予測を評価するための適切なスコアリングルールを計算する包括的で使いやすいRパッケージを提供すること。
• パラメトリックおよび非パラメトリック（サンプルに基づく）予測分布を含む、応用的予測文脈における競合する統計モデルの比較的評価を支援すること。
• 気象学、経済学、水文学などの分野で、代替の予測モデルを原理的かつ統計的に妥当な方法で選択するためのニーズに対応すること。
• エネルギー スコアや変動スコアなどの多次元拡張を含む、効率的で閉形式および数値的アルゴリズムによるスコアリングルールの実装。
• Rにおける一般的なモデリングワークフロー（ベイジアンおよび頻度主義の予測手法を含む）へのシームレスな統合を可能にすること。

提案手法

• パラメトリック予測分布に対して、連続ランク確率スコア（CRPS）および対数スコア（LogS）を、閉形式の解析的表現を用いて実装。
• モンテカルロ サンプルによって定義された予測分布のためのスコアリングルールを、経験的近似を用いて数値的に計算。
• エネルギー スコア（ES）および変動スコア（VS^p）を用いた多次元予測評価をサポートし、重みおよび次数を設定可能に。
• 数値ベクトルおよびモデルオブジェクト用のメソッドを備えたS3汎用関数（例：crps(), logs()）の設計により、カスタムクラスへの拡張性を確保。
• 大規模な予測評価タスクにおいても計算パフォーマンスを確保するため、効率的な数値積分およびベクトル化演算をRで活用。
• 適切なスコアリングルールによる報酬構造を統合し、予測者が自らの真の信念を報告するインcentive が得られるように、デフォルトの選択を統計的原則に基づいて決定。

実験結果

リサーチクエスチョン

• RQ1 応用研究において、競合するモデルからの確率的予測を、適切なスコアリングルールを用いて体系的にどのように比較できるか？
• RQ2 パラメトリックおよびシミュレートされた予測分布の両方に対して、CRPS や LogS といったスコアリングルールの最も効果的で計算的に効率的な実装は何か？
• RQ3 エネルギー スコアや変動スコアといった多次元スコアリングルールを、連合予測分布の実用的評価にどのように応用できるか？
• RQ4 将来の予測応用において、scoringRules Rパッケージをどのようにして新しいモデルクラスやスコアリングルールをサポートするように拡張できるか？
• RQ5 気象学のアンサンブル予測や経済的インフレーション予測などの現実世界の予測シナリオにおいて、異なるスコアリングルールはどのように性能を発揮するか？

主な発見

• scoringRules パッケージは、パラメトリックおよびシミュレートされた予測分布の両方に対して、CRPS、LogS、エネルギー スコア、および変動スコアの効率的で数値的に安定した実装を提供している。
• 経済的ケーススタディにおける多次元予測の事例では、エネルギー スコア（ES）が4.13、変動スコア（VS^p, p=0.5）が7.05と算出され、実データを用いた実用的評価が確認された。
• 複数の予測期間およびモデルをカバーするスコアの集約を可能にすることで、複数の予測事例にわたる比較的予測評価が可能である。
• カスタムモデルクラス（例：crch パッケージの 'crch' オブジェクト）への拡張が可能なS3汎用関数が実装されており、既存のモデリングパイプラインへの統合が可能である。
• 絶対的予測評価（例：PITヒストグラム）を回避し、適切なスコアリングルールによる比較的評価にのみ焦点を当てる。
• 今後の拡張では、ダウイド＝セバスティアーニ スコアのような新しいスコアリングルールや、需要および解析的可用性に基づく追加のパラメトリック族が含まれる可能性がある。