[論文レビュー] "What is a realistic forecast?" Assessing data-driven weather forecasts, a journey from verification to falsification

Zied Ben Bouallègue|arXiv (Cornell University)|Jan 31, 2026

Meteorological Phenomena and Simulations被引用数 0

ひとこと要約

The paper defines three types of realism for data-driven weather forecasts—functional, structural, and physical—and outlines a verification-to-falsification workflow to assess realism and trust in ML-based forecasts.

ABSTRACT

The artificial intelligence revolution is fueling a paradigm shift in weather forecasting: forecasts are generated with machine learning models trained on large datasets rather than with physics-based numerical models that solve partial differential equations. This new approach proved successful in improving forecast performance as measured with standard verification metrics such as the root mean squared error. At the same time, the realism of data-driven weather forecasts is often questioned and considered as an Achilles' heel of machine learning models. How 'forecast realism' can be defined and how this forecast attribute can be assessed are the two questions simultaneously addressed here. Inspired by the seminal work of Murphy (1993) on the definition of 'forecast goodness', we identify 3 types of realism and discuss methodological paths for their assessment. In this framework, falsification arises as a complementary process to verification and diagnostics when assessing data-driven weather models.

研究の動機と目的

• Forecastsのデータ駆動型において、予報の現実性がどのように定義されるべきかを明確にする。
• functional realism、structural realism、physical realism の3つの現実性タイプを識別・分類する。
• 現実性と信頼を評価するために、verificationからdiagnosticsを経てfalsificationへと移行するワークフローを提案する。

提案手法

• 3つの現実性タイプ（functional、structural、physical）を定義し、それぞれがどのように測定・評価できるかを検討する。
• 現実性タイプとverification/diagnosticsとの関係を説明する。
• 予測の妥当性を物理知識と照合するfalsificationフレームワークを導入する。
• verification、diagnostics、falsificationを含む典型的なデータ駆動型予報評価の旅程を概説する。
• 現実性の概念を予測価値、モデル検証、解釈可能性に関連付ける。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型天気予報において、予報の現実性はどのように定義できるか。
• RQ2 functional、structural、physical realistismは実務でどのように測定・診断できるか。
• RQ3 MLベースの予報を評価する際、verificationとfalsificationはどのような役割を果たすのか。
• RQ4 「予報は現実的か」という問いに答えるため、典型的なデータ駆動型予報評価旅程はどのように構成されるべきか。

主な発見

• Functional realismは、forecastとobservationの距離を測定するスコアリングルールを用いて評価される。
• Structural realismは、予報統計を観測値と比較する診断指標（例：bias、variability）を用いて評価される。
• Physical realismは、予報を物理の既知知識やモデルの潜在的アーティファクトと比較するfalsificationテストを通じて評価される。
• verification、diagnostics、falsificationの三段階の評価旅程は、現実性を総合的に評価する。
• Post-processingと情報量は、functional realismと予測価値・意思決定有用性を結びつける。