[論文レビュー] Modeling Oceanic Variables with Dynamic Graph Neural Networks

Caio F. D. Netto, Marcel R. de Barros+9 more|arXiv (Cornell University)|Jun 25, 2022

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

本論文は、時間的（LSTM/Transformer）および空間的（グラフ）な帰納的バイアスを統合する動的グラフニューラルネットワーク（DGN）を提案し、サントス＝ソウ・ヴィセンテ＝ベリオーガ推定系における海洋変数（流れの速度および海面高）を予測する。モデルは、物理学ベースのサントス運用予報システム（SOFS）を27%上回り、流れの速度予測において、14%上回り、最小限の分野知識と欠損データに対して高い耐性を示す。

ABSTRACT

Researchers typically resort to numerical methods to understand and predict ocean dynamics, a key task in mastering environmental phenomena. Such methods may not be suitable in scenarios where the topographic map is complex, knowledge about the underlying processes is incomplete, or the application is time critical. On the other hand, if ocean dynamics are observed, they can be exploited by recent machine learning methods. In this paper we describe a data-driven method to predict environmental variables such as current velocity and sea surface height in the region of Santos-Sao Vicente-Bertioga Estuarine System in the southeastern coast of Brazil. Our model exploits both temporal and spatial inductive biases by joining state-of-the-art sequence models (LSTM and Transformers) and relational models (Graph Neural Networks) in an end-to-end framework that learns both the temporal features and the spatial relationship shared among observation sites. We compare our results with the Santos Operational Forecasting System (SOFS). Experiments show that better results are attained by our model, while maintaining flexibility and little domain knowledge dependency.

研究の動機と目的

• 不完全またはノイジーな観測データを伴う複雑な沿岸地域における海洋変数の予測の課題に対処する。
• 観測地点間の時間的ダイナミクスと空間的関係を活用するデータ駆動型の時空間モデルを開発する。
• 計算コストが高く、地形的および境界データが詳細に必要となる従来の物理学ベースの海洋モデルの限界を克服する。
• 機械学習モデルが分野特有の知識に依存せず、柔軟性を保ちながらも物理学ベースのベースラインを上回る精度を達成できることを示す。
• データが乏しいまたは複雑な地形を持つ地域における港湾運用および環境リスク管理のための高精度な海洋予報システムの実用的導入を可能にする。

提案手法

• ノードが空間的観測地点を表し、エッジが空間的関係を符号化する動的時間的グラフ（DTDG）を構築し、ノード特徴量を時間に依存させる。
• 各地点における海洋変数の多次元時系列から時間的表現を抽出するために、シーケンスエンコーダ（LSTMまたはTransformer）を用いる。
• グラフニューラルネットワーク（GNN）を用いて、空間的に接続されたノード間で時間的特徴量を伝搬・集約し、長距離依存性を捉える。
• 主な指標（流れの速度、方向、海面高のためのウィルモット指数（IoA））を最適化する時空間損失関数を用いて、エンドツーエンドのモデルを訓練する。
• 完全に分離されたグラフ、同種タイプの接続、完全に接続されたグラフといった異なるグラフトポロジーと、LSTMとTransformerの異なるシーケンスエンコーダを評価し、最適な構成を特定する。
• 予測に7日間の入力ウィンドウを用い、サントス＝ソウ・ヴィセンテ＝ベリオーガ推定系の未観測テストデータ上でモデル推論を実施する。

実験結果

リサーチクエスチョン

• RQ1 時間的および空間的帰納的バイアスを統合するデータ駆動型モデルが、現実の沿岸環境において物理学ベースの海洋予報システムを上回ることができるか？
• RQ2 グラフトポロジーの選択（例：完全に接続されたもの対同種変数接続）が、海洋変数の予測性能に与える影響はいかほどか？
• RQ3 異なるシーケンスエンコーダ（LSTM 対 Transformer）は、多次元海洋時系列の予測精度をどの程度向上させるか？
• RQ4 本手法は、現実の海洋観測センサーネットワークで一般的に見られる欠損データやノイジー観測に対してどの程度耐性を示すか？
• RQ5 GNNベースのアーキテクチャは、遠く離れた観測地点間の空間的関係を効果的に学習・活用し、局所的な予測を向上させることができるか？

主な発見

• 提案されたDGNモデルは、SOFS物理学ベースのモデルを27%上回る流れの速度予測精度と、14%上回る流れの方向予測精度を達成した。
• Transformerエンコーダと完全に接続されたグラフトポロジーを用いた場合、流れの速度のための一致指数（IoA）は0.842、流れの方向のためのIoAは0.860を達成した。
• 海面高（SSH）予測においても、モデルは強力な性能を維持し、Transformerエンコーダを用いた場合IoAが0.939、LSTMを用いた場合0.940を達成した。
• 完全に接続されたグラフ構造が、すべての指標で最も優れた結果を示し、完全に分離されたグラフおよび同種タイプ接続グラフを上回った。
• Transformerベースのエンコーダは、すべての予測シナリオにおいて一貫してLSTMエンコーダを上回り、特に複雑な時間的パターンを捉える能力に優れた。
• モデルは欠損データに対して高い耐性を示し、空間的に分離されたノード間で情報を効果的に共有することで、観測が不完全であっても正確な局所的予測を可能にした。