[論文レビュー] A scoring framework for tiered warnings and multicategorical forecasts based on fixed risk measures

Robert Taggart, Loveday, Nicholas+1 more|arXiv (Cornell University)|Aug 29, 2021

Forecasting Techniques and Applications参考文献 20被引用数 16

ひとこと要約

本論文は、固定リスク閾値（α）に基づき、段階的天気警報などの順序付きマルチカテゴリー予報を評価するための、柔軟なスコア関数の族であるFIxed Risk Multicategory（FIRM）予報フレームワークを紹介する。このフレームワークは、ユーザー定義の重みと、近接誤差（near misses）を考慮する距離ベースの割引を備えたリスク整合性のあるスコア行列を用い、スコア最適化が意思決定理論的指針と整合することを保証する。従来の変動する閾値やベースレートに依存する等価スコアとは異なり、より頑健な代替手段を提供する。

ABSTRACT

The use of tiered warnings and multicategorical forecasts are ubiquitous in meteorological operations. Here, a flexible family of scoring functions is presented for evaluating the performance of ordered multicategorical forecasts. Each score has a risk parameter $\alpha$, selected for the specific use case, so that it is consistent with a forecast directive based on the fixed threshold probability $1-\alpha$ (equivalently, a fixed $\alpha$-quantile mapping). Each score also has use-case specific weights so that forecasters who accurately discriminate between categorical thresholds are rewarded in proportion to the weight for that threshold. A variation is presented where the penalty assigned to near misses or close false alarms is discounted, which again is consistent with directives based on fixed risk measures. The scores presented provide an alternative to many performance measures currently in use, whose optimal threshold probabilities for forecasting an event typically vary with each forecast case, and in the case of equitable scores are based around sample base rates rather than risk measures suitable for users.

研究の動機と目的

• サンプルのベースレートに依存するのではなく、ユーザー固有のリスク許容度に結びついた変動する閾値確率に最適化される既存の等価スコア関数の限界を是正すること。
• 予報の性能評価が固定リスク指針（例：イベント確率が1−αを超えた場合に警報を発令する）と整合するスコアフレームワークを構築すること。
• 誤報と見逃しのコストが非対称である公共警報システムにおいて、意思決定理論的に整合したマルチカテゴリー予報の評価手法を提供すること。
• カテゴリー固有の重みを用いて、予報者が高インパクト閾値を正確に区別できる能力に基づき報酬を与える仕組みを提供すること。
• 近接誤差や近接誤報に対するペナルティを距離ベースで割引くことで、現実世界における予報の近接性に対する許容度を反映すること。

提案手法

• リスクレベルαをパrameterとする一貫性のあるスコア関数の族を提案し、予報が予測分布のα-分位数を含むかどうかに基づいて評価される。
• スコア行列を用いて予報-観測ペアにペナルティを割り当て、そのエントリは分位数および期待値の基本的スコア関数から導出される。
• 高優先度の閾値での正確な区別を奨励するため、ユーザー指定の重み（wi）を組み込む。
• 観測値が予報カテゴリーから距離'a'以内にある場合にペナルティを軽減するための割引パrameter 'a'を導入し、Huber分位数または期待値をモデル化する。
• 固定リスク測度に基づく意思決定理論を用いてフレームワークを導出し、スコア最適化が固定リスク測度下での最適ユーザー行動と一致することを保証する。
• 実世界の降雨警報データにフレームワークを適用し、経験的補正と信号検出理論を用いたパrameter推定を実証する。

実験結果

リサーチクエスチョン

• RQ1 ベースレートや標本頻度に依存せず、すべての予報カテゴリーにおいて固定リスク閾値（1−α）と整合するスコア関数を構築可能か？
• RQ2 スコア関数におけるカテゴリー固有の重みを用いることで、予報者が高インパクト閾値を正確に区別するようインcentivizeできるか？
• RQ3 近接誤差や近接誤報に対するペナルティを割引くことで、予報スコアが現実世界のユーザーの許容度および意思決定とどの程度整合性を保つよう改善されるか？
• RQ4 既存の警報システムで明示的に定義されていない場合、履歴の連関表や予報-観測データからリスクパrameter αをどのように推定できるか？
• RQ5 リードタイムに応じてリスクパrameter αを変化させることで、段階的警報システムの性能が向上するか？また、最適閾値の選定方法は？

主な発見

• FIRMスコアフレームワークは、スコア最適化が1−αを超える確率で警報を発令するような固定リスク指針と整合する予報行動を促進することを保証する。
• 良好にキャリブレーションされた予報システムでは、ミス数と誤報数の比率は性能の信頼性の指標とはなり得ず、αがベースレートと一致しない場合に誤解を招くおそれがある。
• 信号検出理論に基づく推定器 ˜α は、特に低ベースレートおよび不完全にキャリブレーションされたシステムにおいて、経験的推定器 ˆα よりも信頼性の高いαの推定値を提供する。
• αが閾値ごとに変化する場合（例：α1=0.1, α2=0.9）、予報者は中間カテゴリー（例：C1）を飛ばすインセンティブを得るため、非効率な行動を示し、直感的な予報論理に反する。
• 多段階警報システムでは、最適な早期警報閾値（β）は通常の時間閾値（α）よりも高く設定される。NSWの降雨データセットでは、OCFでβ=0.65、公式警報でβ=0.60となり、警報の撤回コストの高さを反映している。
• フレームワークの柔軟性により、a>0 の場合に特に、警報疲れや誤報への耐性の低さの影響を軽減し、予報カテゴリーに近い観測値に対してペナルティを割引くことができる。