[論文レビュー] Evaluating forecasts for high-impact events using transformed kernel scores

Sam Allen, David Ginsbourger+1 more|arXiv (Cornell University)|Feb 25, 2022

Meteorological Phenomena and Simulations被引用数 5

ひとこと要約

本稿では、複合的で極端でない条件下で発生する高影響イベント（例：複合的気象現象）の予測を評価するため、カーネルスコアに基づく重み付き多変量スコアルールを導入する。閾値加重CRPSがカーネルスコアであることを示し、アンサンブル予測の効率的評価が可能になるほか、閾値加重エネルギー・スコアや変動スコアへの一般化が可能となり、個々のイベントが極端でない場合でも高影響結果を予測する能力をよりよく特定できる。

ABSTRACT

It is informative to evaluate a forecaster's ability to predict outcomes that have a large impact on the forecast user. Although weighted scoring rules have become a well-established tool to achieve this, such scores have been studied almost exclusively in the univariate case, with interest typically placed on extreme events. However, a large impact may also result from events not considered to be extreme from a statistical perspective: the interaction of several moderate events could also generate a high impact. Compound weather events provide a good example of this. To assess forecasts made for high-impact events, this work extends existing results on weighted scoring rules by introducing weighted multivariate scores. To do so, we utilise kernel scores. We demonstrate that the threshold-weighted continuous ranked probability score (twCRPS), arguably the most well-known weighted scoring rule, is a kernel score. This result leads to a convenient representation of the twCRPS when the forecast is an ensemble, and also permits a generalisation that can be employed with alternative kernels, allowing us to introduce, for example, a threshold-weighted energy score and threshold-weighted variogram score. To illustrate the additional information that these weighted multivariate scoring rules provide, results are presented for a case study in which the weighted scores are used to evaluate daily precipitation accumulation forecasts, with particular interest on events that could lead to flooding.

研究の動機と目的

• 複合的・非極端な条件下で発生する高影響イベントの予測評価において、重みなしスコアルールの限界を是正すること。
• カーネルスコアを用いて、単変量設定にとどまらず多変量結果へと重み付きスコアルールを拡張すること。
• 特に高影響イベントに関連する領域を強調できる柔軟なフレームワークを構築すること。
• 洪水リスクに注目した降水量積算予測の予測性能を、重み付きおよび重みなしスコアを用いて評価すること。
• 重み付きカーネルスコアが、重みなしスコアとは異なる結論を導く可能性があることを示し、高影響イベントに対して最良の性能を示す予測戦略を浮き彫りにすること。

提案手法

• 条件付き負定倣（c.n.d.）カーネルに基づく適切なスコアルール（カーネルスコア）を用いて、重み付き多変量スコアルールを構築する。
• 閾値加重連続ランク確率スコア（twCRPS）がカーネルスコアであることを証明し、アンサンブル予測のための効率的計算が可能になる。
• twCRPSを他のカーネルへ一般化し、閾値加重エネルギー・スコアおよび閾値加重変動スコアを導入する。
• 垂直方向に再スケーリングされたカーネルスコアを、重み関数の範囲を拡張する代替の重み付けメカニズムとして導入する。
• 逆多重二次曲面カーネルを、一変量および多変量設定において厳密に適切な新たなカーネルとして採用し、優れた識別能力を有する。
• 提案された重み付きスコアをMeteoSwissの日次降水量積算予測に適用し、重み付きおよび重みなし評価を用いた多変量後処理手法の比較を実施する。

Figure 1 : Common weight functions (top row) with corresponding chaining functions (middle row) and the resulting kernels to be employed in the twCRPS (bottom row). $\Phi(x;\mu,\sigma)$ and $\phi(x;\mu,\sigma)$ represent the distribution and density functions, respectively, of a normal distribution

実験結果

リサーチクエスチョン

• RQ1 高影響イベントの予測をよりよく評価するために、カーネルスコアフレームワーク内で重み付き多変量スコアルールを構築できるか？
• RQ2 閾値加重CRPSはカーネルスコアか？そして、これによりアンサンブル予測のための評価がより効率的になるか？
• RQ3 閾値加重エネルギー・スコアおよび変動スコアは、それらの重みなし対応と比較して、高影響イベントの予測性能検出においてどのように異なるか？
• RQ4 実世界の応用において、重み付きカーネルスコアは重みなしスコアとは異なる予測品質に関する結論を導くか？
• RQ5 カーネルの選択が、特に複合的高影響イベントに関連する領域のスコアルールの感度に影響を与えるか？

主な発見

• 閾値加重CRPSが正式にカーネルスコアであることが示され、閉形式表現を用いたアンサンブル予測への応用が可能になる。
• このフレームワークにより、twCRPSの他のカーネルへの一般化が可能となり、閾値加重エネルギー・スコアや変動スコアといった新たな重み付きスコアルールが得られる。
• 垂直方向に再スケーリングされたカーネルスコアは、特定の条件下では閾値重み付けと同等の重み付けメカニズムを提供するが、より広い範囲の重み関数を可能にする。
• 日次降水量積算予測に関する事例研究において、重み付きスコアは重みなしスコアとは異なる最適な後処理手法を特定した。特に洪水リスクイベントにおいて顕著であった。
• 逆多重二次曲面カーネルが、R^d 上のすべての確率測度に対して厳密に適切であることが示され、識別能力においても競争力があるため、多変量予測評価に適している。
• 重み付きカーネルスコアは、高影響領域を含む結果空間の領域における予測行動の違いを検出可能であるが、重みなしスコアではこれを捉えられない。

(a) $w(z)=\mathbbm{1}\{z_{1}+z_{2}\geq t\}$