[論文レビュー] The World as a Graph: Improving El Niño Forecasts with Graph Neural Networks

Salva Rühling Cachay, Emma Erickson+6 more|arXiv (Cornell University)|Apr 11, 2021

Climate variability and models参考文献 47被引用数 10

ひとこと要約

本稿では、季節的エルニーニョ予測のための最初のグラフニューラルネットワーク（GNN）ベースのモデルであるGraphiñoを提案する。Graphiñoは、グローバルな空間的結合性を同時に学習し、オーシャンニーニョインデックス（ONI）を予測する。適応的グラフ構造を通じて大規模な大気相互作用をモデル化することで、6か月先までの予測において最先端のディープラーニングモデルを上回り、学習された物理的に意味のある接続性により解釈可能性を向上させる。

ABSTRACT

Deep learning-based models have recently outperformed state-of-the-art seasonal forecasting models, such as for predicting El Niño-Southern Oscillation (ENSO). However, current deep learning models are based on convolutional neural networks which are difficult to interpret and can fail to model large-scale atmospheric patterns. In comparison, graph neural networks (GNNs) are capable of modeling large-scale spatial dependencies and are more interpretable due to the explicit modeling of information flow through edge connections. We propose the first application of graph neural networks to seasonal forecasting. We design a novel graph connectivity learning module that enables our GNN model to learn large-scale spatial interactions jointly with the actual ENSO forecasting task. Our model, \graphino, outperforms state-of-the-art deep learning-based models for forecasts up to six months ahead. Additionally, we show that our model is more interpretable as it learns sensible connectivity structures that correlate with the ENSO anomaly pattern.

研究の動機と目的

• エルニーニョ＝サバーディスオーシャン（ENSO）予測に不可欠な大規模で非局所的な大気パターンをモデル化するのに、畳み込みニューラルネットワーク（CNN）の限界を解消すること。
• 局所的でトランスレーション不変性を持つ畳み込みとは異なり、気候データにおけるグローバルな空間的依存関係をより効果的に捉えるGNNベースのアプローチを開発すること。
• 事前に定義された空間的グラフを必要とせず、気候結合性をエンドツーエンドで学習できる、新しいグラフ構造学習モジュールを導入すること。
• 特に6か月先までのリードタイムを想定し、季節的ENSO予測の予測精度とモデルの解釈可能性を向上させること。
• 従来のディープラーニングシステムとは異なり、季節ごと・リードタイムごとに別々のモデルを必要としないため、計算コストとモデルの複雑さを低減すること。

提案手法

• 過剰平滑化を緩和し、ノード表現学習を改善するため、残差接続とジャンピング知識を備えたグラフ畳み込みネットワーク（GCN）を採用する。
• 入力データから隣接行列（すなわち、気候領域間の接続性）を動的に学習する、画期的なグラフ結合性学習モジュールを導入し、大規模な相互作用を適応的にモデル化可能にする。
• ノード特徴量は海面水温異常および他の海洋変数から得られ、陸上領域はマスク処理されており、計算効率と関連性の向上を図る。
• ノード埋め込みの集約（平均または和）によりグラフレベルの表現を生成し、最終段階で回帰ヘッドを介してONIインデックスを予測する。
• 歴史的気候データ上で標準的な回帰損失を用いてエンドツーエンドで学習し、多様なENSOイベントタイプに一般化できるように配慮する。
• アーキテクチャはGraphiñoとして実装され、再現可能性および気候GNN分野における今後の研究を支援するため、オープンソース化されている。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、ENSO予測に不可欠な大規模で非局所的な大気・海洋相互作用を効果的にモデル化できるか？
• RQ2 固定または手作業で作成されたグラフと比較して、学習可能なグラフ結合性構造が、季節的気候モデリングにおいて予測精度を向上させるか？
• RQ3 特に6か月先までのリードタイムを想定した場合、GNNはCNNのような最先端のディープラーニングモデルを上回る予測性能を示せるか？
• RQ4 GNNは、物理的に意味のある気候領域間の接続性を学習することで、どの程度モデルの解釈可能性を向上させられるか？
• RQ5 1つのGNNモデルが異なる季節やリードタイムに一般化可能であり、複数のタスク固有モデルの必要性を減らせるか？

主な発見

• Graphiñoは、6か月先までの予測において、最先端のディープラーニングベースのENSO予測モデルを上回り、優れた予測精度を示した。
• 従来のSOTAアプローチが季節ごと・リードタイムごとに別々のモデルを必要としていたのに対し、Graphiñoは12倍少ないモデル数で競争力ある性能を達成した。
• 学習されたグラフ結合性構造は、ペーシフィック・ウォーキング・セルキュレーションや遠隔テレコネクションといった既知のENSOダイナミクスと相関しており、モデルの解釈可能性を向上させた。
• CNNとは異なり、位置に依存する気候信号に依存しないため、Graphiñoはトランスレーション不変性に依存せず、グローバルスケールのパターンを効果的に捉えた。
• 極端なENSOイベント（レアイベント）に対しても強固な性能を維持しており、カスタム損失関数の導入によりさらなる改善が期待できる。
• 平均および和によるグラフプーリングの使用は、実験全体にわたり安定した結果をもたらし、平均集約が一貫して優れた性能を示した。