[論文レビュー] Forecast score distributions with imperfect observations

Julie Bessac, Philippe Naveau|arXiv (Cornell University)|Jun 10, 2018

Meteorological Phenomena and Simulations参考文献 18被引用数 4

ひとこと要約

本稿では、観測誤差を隠れ変数と条件付き期待値を用いてモデル化することで、観測データに不確実性が存在する状況でも予測評価を改善する、新たなスコアリングルールフレームワークを提案する。主な貢献は、特に歪度や重尾分布、ノイズの多いデータ下で、平均スコアに比べてスコアの分布全体（特にワサースタイン距離を用いたもの）を用いることで、識別力が向上することである。

ABSTRACT

The classical paradigm of scoring rules is to discriminate between two different forecasts by comparing them with observations. The probability distribution of the observed record is assumed to be perfect as a verification benchmark. In practice, however, observations are almost always tainted by errors and uncertainties. If the yardstick used to compare forecasts is imprecise, one can wonder whether such types of errors may or may not have a strong influence on decisions based on classical scoring rules. We propose a new scoring rule scheme in the context of models that incorporate errors of the verification data. We rely on existing scoring rules and incorporate uncertainty and error of the verification data through a hidden variable and the conditional expectation of scores when they are viewed as a random variable. The proposed scoring framework is compared to scores used in practice, and is expressed in various setups, mainly an additive Gaussian noise model and a multiplicative Gamma noise model. By considering scores as random variables one can access the entire range of their distribution. In particular we illustrate that the commonly used mean score can be a misleading representative of the distribution when this latter is highly skewed or have heavy tails. In a simulation study, through the power of a statistical test and the computation of Wasserstein distances between scores distributions, we demonstrate the ability of the newly proposed score to better discriminate between forecasts when verification data are subject to uncertainty compared with the scores used in practice. Finally, we illustrate the benefit of accounting for the uncertainty of the verification data into the scoring procedure on a dataset of surface wind speed from measurements and numerical model outputs.

研究の動機と目的

• 観測データが誤差なしに扱われる傾向にあるが、実世界の計器誤差、再解析データ、間接的測定などによる不確実性が存在する予測評価の重要なギャップを埋める。
• 真の背後プロセスの詳細を明示的に知らなくても、観測データの不確実性をスコアリングルールに統合する統計的に妥当な手法を開発する。
• 観測データが不完全な状況下で、平均スコアが歪度や重尾分布のため機能しなくなる場合に、予測モデルの比較におけるスコアの識別能力を向上させること。
• シミュレーションと実際の風速データを用いて、スコアの分布全体（特にワサースタイン距離を用いたもの）が、平均スコアに比べて、データの不確実性下で予測の差を検出する能力に優れることを示す。

提案手法

• 真の（隠れ）状態を潜在変数としてモデル化し、観測データをその周囲に条件付きで分布させる。加法的ガウスノイズや乗法的ガンマノイズなどの誤差モデルを組み込む。
• スコアを確率変数とみなし、観測データを条件とするスコアの条件付き期待値を導出することで、観測データの不確実性をスコア関数へと伝搬可能にする。
• 1-Wasserstein距離を用いてスコア分布間の差を測定するため、スコア分布の一般化逆関数（分位数関数）を用いる。
• 取り扱いの容易さを考慮し、誤差モデルが既知（例：正規分布、ガンマ分布）と仮定し、これらの仮定下で条件付きスコア分布の明示的表現を導出する。
• 誤差構造が既知の合成データを用いてフレームワークを検証し、ASOSとWRFモデル出力の実際の地表面風速データに適用する。
• 統計的検出力分析とワサースタイン距離の比較を用いて、さまざまなスコアスキームにおける識別性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 観測データの誤差が、完全な観測を仮定する古典的スコアリングルールの信頼性にどのように影響を与えるか？
• RQ2 隠れ変数と条件付き期待値を用いて、観測データの不確実性を明示的に組み込んだスコアリングルールフレームワークを構築できるか？
• RQ3 スコアの平均値ではなく、スコアの分布全体（特に全分布）を用いることで、観測データがノイズを含む状況下でも、予測の差を識別する能力が向上するか？
• RQ4 データの不確実性下で、スコア分布間のワサースタイン距離が、平均スコアに比べて予測の差を検出する能力にどのように優れているか？
• RQ5 真の予測が観測データに非常に近い場合でも、提案された補正スコアは観測誤差に対して頑健であるか？

主な発見

• 歪度や重尾分布を示すスコア分布において、平均スコアは分布の代表を適切に表さず、予測比較において誤った結論を導くことがある。
• 特に1-Wasserstein距離を用いたスコアの分布全体を用いることで、平均スコアに依存する手法に比べて、スコアリングルールの識別力が顕著に向上する。
• スコア分布間のワサースタイン距離は、勾配が鋭く、曖昧領域が小さく、不完全なデータ下でも予測の差に敏感であることを示している。
• 観測データの不確実性を考慮した本稿の補正スコアは、観測データがノイズを含んでも、真の最小値に非常に近いワサースタイン距離を達成する。
• シミュレーションでは、実務で用いられる標準的スコアに比べ、本フレームワークは予測の差を検出する統計的検出力に優れていることが示された。
• 実際の地表面風速データにおいても、計器誤差や再解析製品に起因する観測誤差が存在する状況で、本手法は予測評価を著しく改善した。