[論文レビュー] Can we integrate spatial verification methods into neural-network loss functions for atmospheric science?

Ryan Lagerquist, Imme Ebert‐Uphoff|arXiv (Cornell University)|Mar 21, 2022

Meteorological Phenomena and Simulations被引用数 6

ひとこと要約

本論文は、大気科学分野におけるニューラルネットワーク学習に空間的検証手法を統合する空間的強化損失関数（SELFs）を提案する。周辺性またはスペクトルフィルタ（フーリエ／ウェーブレット）を用いて、ブライアースコアなどの一般的なスコアを空間的に強化する。結果として、離散的な積乱雲から熱帯低気圧にまで及ぶ多様な積乱スケールにおいて、スペクトルSELFsで学習したモデルは、ピクセル単位の損失関数に比べてはるかに良好な補正された確率的予測を達成していることが示された。

ABSTRACT

In the last decade, much work in atmospheric science has focused on spatial verification (SV) methods for gridded prediction, which overcome serious disadvantages of pixelwise verification. However, neural networks (NN) in atmospheric science are almost always trained to optimize pixelwise loss functions, even when ultimately assessed with SV methods. This establishes a disconnect between model verification during vs. after training. To address this issue, we develop spatially enhanced loss functions (SELF) and demonstrate their use for a real-world problem: predicting the occurrence of thunderstorms (henceforth, "convection") with NNs. In each SELF we use either a neighbourhood filter, which highlights convection at scales larger than a threshold, or a spectral filter (employing Fourier or wavelet decomposition), which is more flexible and highlights convection at scales between two thresholds. We use these filters to spatially enhance common verification scores, such as the Brier score. We train each NN with a different SELF and compare their performance at many scales of convection, from discrete storm cells to tropical cyclones. Among our many findings are that (a) for a low (high) risk threshold, the ideal SELF focuses on small (large) scales; (b) models trained with a pixelwise loss function perform surprisingly well; (c) however, models trained with a spectral filter produce much better-calibrated probabilities than a pixelwise model. We provide a general guide to using SELFs, including technical challenges and the final Python code, as well as demonstrating their use for the convection problem. To our knowledge this is the most in-depth guide to SELFs in the geosciences.

研究の動機と目的

• 大気ニューラルネットワークにおける学習（ピクセル単位の損失）と評価（空間的検証）のギャップを埋めるため。
• 空間的検証の原則を直接学習に統合する空間的強化損失関数（SELFs）を開発するため。
• 複数の空間スケールにわたる実世界の雷雨（積乱）予測タスクにおいてSELFsを評価するため。
• 地質学的応用に向けたSELFsの実装に関する実用的でオープンソースのガイドを提供するため。
• SELFsが標準的なピクセル単位の学習に比べて、より補正された確率的予測をもたらすかを示すため。

提案手法

• 周辺性またはスペクトルフィルタ（フーリエ／ウェーブレット）を用いて、ブライアースコアのような空間的検証スコアを空間的に強化するSELFsを設計する。
• 空間フィルタを用いて特定のスケールの積乱を強調する——小スケールは周辺性フィルタで、中〜大スケールはスペクトル分解で。
• 標準的な損失関数を、ピクセル単位の比較から、空間的にフィルタ処理され、スケールに適応した検証スコアに置き換える。
• 異なるSELFsを用いてニューラルネットワークを学習し、複数の積乱強度の閾値と空間スケールで性能を比較する。
• 数値的安定性と計算効率に関する技術的配慮を踏まえて、SELFsの完全なPythonコードを実装・公開する。
• 観測データおよび再解析データを用いた実世界の積乱予測タスクで、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 空間的検証手法は、大気科学分野におけるニューラルネットワーク損失関数に効果的に統合可能か？
• RQ2 周辺性フィルタとスペクトルフィルタの違いが、積乱スケールの変動に応じてモデルの性能にどのように影響を与えるか？
• RQ3 SELFsで学習させることで、標準的なピクセル単位の損失関数に比べて、より補正された確率的予測が得られるか？
• RQ4 積乱予測における異なるリスク閾値に対して、SELFsの最適なスケール焦点は何か？
• RQ5 SELFsは実用的に実装可能であり、地質学的応用に一般化可能か？

主な発見

• 低リスク閾値では、最適なSELFは小スケールの積乱に焦点を当てるが、高リスク閾値では大スケールの特徴が優先される。
• ピクセル単位の損失関数で学習したモデルは、空間的検証とは乖離しているものの、多くの指標において驚くほど良好な性能を示す。
• スペクトルフィルタ（フーリエまたはウェーブレット）を用いたSELFsは、特に中〜大スケールにおいて、ピクセル単位の学習に比べてはるかに補正された確率的予測を達成する。
• スペクトルフィルタ（フーリエまたはウェーブレット）の使用により、固定された周辺性フィルタに比べ、より柔軟でスケールに適応した空間的強化が可能になる。
• 提案されたSELFフレームワークは一般化可能であり、地質学的応用に向けた実用的でオープンソースの実装を提供する。
• SELFsは、離散的な積乱雲から熱帯低気圧に至るまで、複数の空間スケールで予測の信頼性を向上させる。これは空間的検証スコアで測定された。