[論文レビュー] Inductive biases in deep learning models for weather prediction

Jannik Thuemmel, Matthias Karlbauer+9 more|arXiv (Cornell University)|Apr 6, 2023

Hydrological Forecasting Using AI被引用数 15

ひとこと要約

本論文は、最先端の6つのDLWPモデルにおける帰納的バイアスを分析し、データ選択、目的関数、損失、アーキテクチャ、最適化手法を検討し、基盤モデルと物理情報を含むバイアスを用いた今後の方向性について論じる。

ABSTRACT

Deep learning has gained immense popularity in the Earth sciences as it enables us to formulate purely data-driven models of complex Earth system processes. Deep learning-based weather prediction (DLWP) models have made significant progress in the last few years, achieving forecast skills comparable to established numerical weather prediction models with comparatively lesser computational costs. In order to train accurate, reliable, and tractable DLWP models with several millions of parameters, the model design needs to incorporate suitable inductive biases that encode structural assumptions about the data and the modelled processes. When chosen appropriately, these biases enable faster learning and better generalisation to unseen data. Although inductive biases play a crucial role in successful DLWP models, they are often not stated explicitly and their contribution to model performance remains unclear. Here, we review and analyse the inductive biases of state-of-the-art DLWP models with respect to five key design elements: data selection, learning objective, loss function, architecture, and optimisation method. We identify the most important inductive biases and highlight potential avenues towards more efficient and probabilistic DLWP models.

研究の動機と目的

• 変化する気候条件下で、従来のNWPに代わるデータ駆動型のDLベース気象予測(DLWP)の利用を動機づける。
• 現在の最先端DLWPモデルに内在する帰納的バイアスを体系的に特定し、説明する。
• データ・目的・損失・アーキテクチャ・最適化の設計選択が、学習・汎化・不確実性にどう影響するかを評価する。
• 基盤モデルや明示的な物理情報を組み込んだバイアスの統合を含む将来の方向性を概説し、DLWPの性能向上を図る。

提案手法

• 6つの高性能DLWPモデル（R21, E21, W21, P22, K22, H22）を調査し、設計選択を帰納的バイアスに対応づける。
• 各モデルを5つの設計要素（データ選択、学習目的、損失成分、ニューラルアーキテクチャ、最適化戦略）に沿って分解する。
• 各設計選択が大気ダイナミクスやサブグリッド過程に関する仮定をどのように符号化しているかを図示する。
• 反復予測と直接予測、確率的出力と決定論的出力、および残差予測と絶対予測戦略が学習バイアスにどう影響するかを比較する。
• 損失関数・正規化・不確実性モデリングを議論し、最適化を検証指標に合わせる。

実験結果

リサーチクエスチョン

• RQ1 6つのDLWPモデルにおいて、データ選択・予測目的・損失関数・アーキテクチャ・最適化によってどのような帰納的バイアスが組み込まれているか。
• RQ2 これらのバイアスが、短期から中期予測にわたる学習効率・汎化・不確実性の定量化にどのように影響するか。
• RQ3 将来の方向性（例：基盤モデル、物理情報を組み込んだ事前知識）が、サブシーズンからシーズンレンジのDLWP性能をどう形成する可能性があるか。

主な発見

• DLWPモデルは、データ入力・予測目標・損失設計の多様な帰納的バイアスを取り込み、性能と汎化を促進する。
• 反復的および確率的予測手法は、誤差蓄積の管理と長期予測での不確実性の表現に役立つ。
• 生成的成分（GANs、VAEs、ダイナミックVAEs）は、予測の不確実性とアンサンブルのばらつきをモデリングするのに寄与し、特に長距離予測で効果を発揮する。
• 高分解能データと物理情報を取り入れた入力（地形、陸海マスク、太陽放射量など）を用いて領域構造を符号化し、技能を向上させる。
• 著者らは、サブシーズン〜シーズン規模での性能を維持するために、明示的な物理事前知識を持つ大規模データセットで訓練された基盤モデルへと移行すると予想している。