[論文レビュー] Climate Modeling with Neural Diffusion Equations

JeeHyun Hwang, Jeongwhan Choi+4 more|arXiv (Cornell University)|Nov 11, 2021

Model Reduction and Neural Networks参考文献 56被引用数 4

ひとこと要約

本稿では、物理的拡散方程式とニューラル常微分方程式（NODE）を統合することで、気候データから潜在的な支配的ダイナミクスを学習する、新しい気候モデリングフレームワーク、ニューラル拡散方程式（NDE）を提案する。微分可能でかつ学習可能な不確実性モデル、および学習可能な熱容量を組み合わせることで、従来のベースラインと比較してパラメータ数が少なく、より高い効率性を達成しながら、合成データおよび実世界のデータセットにおいて最先端の予測精度を実現する。

ABSTRACT

Owing to the remarkable development of deep learning technology, there have been a series of efforts to build deep learning-based climate models. Whereas most of them utilize recurrent neural networks and/or graph neural networks, we design a novel climate model based on the two concepts, the neural ordinary differential equation (NODE) and the diffusion equation. Many physical processes involving a Brownian motion of particles can be described by the diffusion equation and as a result, it is widely used for modeling climate. On the other hand, neural ordinary differential equations (NODEs) are to learn a latent governing equation of ODE from data. In our presented method, we combine them into a single framework and propose a concept, called neural diffusion equation (NDE). Our NDE, equipped with the diffusion equation and one more additional neural network to model inherent uncertainty, can learn an appropriate latent governing equation that best describes a given climate dataset. In our experiments with two real-world and one synthetic datasets and eleven baselines, our method consistently outperforms existing baselines by non-trivial margins.

研究の動機と目的

• RNN や GNN に強く依存するが、物理的インダクティブバイアスが明確でない既存の深層学習ベースの気候モデルの限界を解消すること。
• 物理的根拠に基づいた拡散方程式をニューラル ODE フレームワークに組み込むことで、気候要因の予測精度を向上させること。
• ODE フレームワーク内に学習可能なニューラルネットワークコンponentを導入し、気候システム内の現実世界の不確実性をモデル化すること。
• 固定値や事前に定義された値を仮定するのではなく、データから熱容量パラメータを最適化すること。
• モデルの複雑さを低減し、効率的な推論を実現しながらも高い予測精度を達成すること。

提案手法

• 気候ダイナミクスを時間連続的プロセスとしてモデル化するニューラル拡散方程式（NDE）を提案。これは、修正された拡散方程式に従う：$ \frac{d\bm{h}(t)}{dt} = -k\bm{L}\bm{h}(t) + f(\bm{h}(t), t; \bm{\theta}_f) $。
• グラフ構造の気候ネットワークにおけるグリッドノードや気象観測所間の空間的結合性を表現するために、対称正規化グラフラプラシアン $ \bm{L} $ を使用する。
• 現実世界の気候システムにおける物理的不確実性や非理想性をモデル化するため、学習可能なニューラルネットワーク $ f $ を導入し、平均二乗誤差損失を用いて訓練する。
• 熱容量係数 $ k $ を学習可能なパラメータとして扱い、スカラー、エッジクラス、および単一係数の学習戦略を含むバリエーションを検討する。
• ノード特徴量（例：気温、気圧）を時間経過とともにNDEレイヤーで進化させ、その後マルチステップ予測用のデコーディングヘッドを適用するグラフベースのアーキテクチャを採用する。
• 動的ダイナミクスの積分形を解くためにニューラルODEフレームワークを適用：$ \bm{h}(t_1) = \bm{h}(t_0) + \int_{t_0}^{t_1} \left( -k\bm{L}\bm{h}(t) + f(\bm{h}(t), t; \bm{\theta}_f) \right) dt $。

実験結果

リサーチクエスチョン

• RQ1 物理的インフォームドなニューラルODEフレームワークが、拡散方程式と学習可能な不確実性を統合することで、標準的なRNNおよびGNNベースラインを上回る気候予測性能を達成できるか？
• RQ2 学習可能な熱容量係数の導入が、予測精度およびモデルの汎化性能に与える影響は何か？
• RQ3 異なる不確実性モデリング戦略（例：ニューラルネットワーク $ f $ の有無）が予測性能に与える影響は何か？
• RQ4 入力履歴長 $ P $、隠れ次元 $ D $、熱容量初期化法などのハイパーパrameterに、モデルの性能はどれほど敏感か？
• RQ5 NDEフレームワークは、精度を維持または向上させながら、パラメータ数と推論コストの両面でより高い効率性を達成できるか？

主な発見

• NDEは全データセットで最小の平均二乗誤差（MSE）を達成し、NOAAデータセットでは1ステップ予測のMSEが0.2975 ± 0.0062にとどまり、11のベースラインすべてを上回る。
• アブレーションスタディの結果、不確実性モデル $ f $ を除外した場合（NDE without $ f $）の誤差はLAで0.3245 ± 0.0161に上昇し、実世界のノイズをモデル化する上でその重要性が確認された。
• エッジクラスの熱容量学習法が最良の性能を示し、LAではMSEが0.2621 ± 0.0026にまで低下。固定法（0.3657 ± 0.0117）および単一係数法（0.2901 ± 0.0096）を顕著に上回った。
• 隠れ次元 $ D = 32 $ で最適な性能が達成され、NOAAデータセットでは $ D = 16 $ と比較してMSEが25%改善された。
• NDEは高い効率性を達成し、モデル効率プロットで左下に位置し、パラメータ数が少なく、推論コストも低い一方で高い精度を維持している。
• 感度分析の結果、唯一1ステップの過去履歴（$ P = 1 $）で十分に最適な性能が得られ、拡散プロセスが記憶効率が高く、長期間の履歴シーケンスを必要としないことが示された。