[論文レビュー] Adjoint-Matching Neural Network Surrogates for Fast 4D-Var Data Assimilation

Austin Chennault, Andrey A. Popov+5 more|arXiv (Cornell University)|Nov 16, 2021

Model Reduction and Neural Networks被引用数 10

ひとこと要約

本稿では、学習損失に導出情報を取り入れることで、4次元Varデータ同化の高速化を図るアドジョイントマッチングニューラルネットワーク代理モデルを提案する。前向きダイナミクスとアドジョイント感度の両方に一致するようにネットワークを訓練することで、標準的な前向きデータのみを用いたニューラルネットワーク代理モデルに比べ、4次元Var解の精度と一般化性能が著しく向上する。

ABSTRACT

Data assimilation is the process of fusing information from imperfect computer simulations with noisy, sparse measurements of reality to obtain improved estimates of the state or parameters of a dynamical system of interest. The data assimilation procedures used in many geoscience applications, such as numerical weather forecasting, are variants of the our-dimensional variational (4D-Var) algorithm. The cost of solving the underlying 4D-Var optimization problem is dominated by the cost of repeated forward and adjoint model runs. This motivates substituting the evaluations of the physical model and its adjoint by fast, approximate surrogate models. Neural networks offer a promising approach for the data-driven creation of surrogate models. The accuracy of the surrogate 4D-Var solution depends on the accuracy with each the surrogate captures both the forward and the adjoint model dynamics. We formulate and analyze several approaches to incorporate adjoint information into the construction of neural network surrogates. The resulting networks are tested on unseen data and in a sequential data assimilation problem using the Lorenz-63 system. Surrogates constructed using adjoint information demonstrate superior performance on the 4D-Var data assimilation problem compared to a standard neural network surrogate that uses only forward dynamics information.

研究の動機と目的

• 物理的モデルの高コストな評価を高速なニューラルネットワーク代理モデルに置き換えることで、4次元Varデータ同化を高速化すること。
• 前向きダイナミクスに加えてアドジョイントモデルの情報を学習プロセスに組み込むことで、代理モデルの精度を向上させること。
• 前向きデータのみを用いた標準的な代理モデル学習に比べ、アドジョイントマッチングがより優れた4次元Var解をもたらすことを実証すること。
• 異なるアドジョイント情報を利用した学習戦略が、前向きおよびアドジョイントダイナミクスの一般化性能に与える影響を分析すること。
• Lorenz-63系を用いて、逐次的データ同化タスクにおいて優れた性能を示すことを検証すること。

提案手法

• アドジョイントモデルの微分を損失関数に組み込んだ物理的誘導型機械学習フレームワークを構築する。
• 4つの学習戦略を導入する：標準的（前向きのみ）、ラグランジュ法（ラグランジュ乗数によるアドジョイント）、ランダム法（ランダムなアドジョイントベクトル）、RandCol法（アドジョイント行列のランダムな列ベクトル）。
• 自動微分を用いて、ニューラルネットワークの入力に関するアドジョイント感度を計算し、前向きおよびアドジョイントダイナミクスの両方の勾配に基づく学習を可能にする。
• モデル出力とアドジョイント・ベクトル積の両方の誤差をペナルティとする組み合わせ損失関数を用いて、代理ネットワークを訓練する。
• 前向きおよびアドジョイントダイナミクスの一般化性能を評価するために、未観測のテストデータを用いてRMSE指標を適用する。
• 訓練された代理モデルを4次元Var最適化問題に適用し、真の4次元Var結果とのRMSEを用いて解の精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 アドジョイントモデルの情報をニューラルネットワークの学習に組み込むことで、4次元Varデータ同化解の精度が向上するか？
• RQ2 アドジョイントマッチング学習は、前向きのみの学習に比べて、前向きおよびアドジョイントダイナミクスの一般化性能においてどのように異なるか？
• RQ3 ラグランジュ法、ランダム法、RandCol法のうち、どのアドジョイント情報を利用した学習戦略が4次元Var応用において最高の総合的性能を発揮するか？
• RQ4 アドジョイントモデリングの向上が、4次元Var解の質の向上を完全に説明できるのか、それとも前向きダイナミクスの精度も重要であるか？
• RQ5 アドジョイントマッチング代理モデルは、逐次的データ同化シナリオにおいて未観測データにうまく一般化できるか？

主な発見

• ラグランジュ法に基づくアドジョイントマッチング代理モデルは、未観測テストデータにおける前向きモデル一般化RMSEが0.39 ± 0.02にまで低下し、標準的代理モデル（0.48 ± 0.05）を著しく上回った。
• RandCol法は、アドジョイントモデル一般化性能で最高の成績（RMSE = 0.74 ± 0.01）を示し、標準的代理モデル（0.97 ± 0.01）をも上回った。
• アドジョイント情報を利用したすべての手法が、標準的代理モデルに比べ、4次元Var解の精度を著しく向上させ、ラグランジュ法が4次元VarのRMSEを0.37 ± 0.02という最高水準にまで低下させた。
• 対応t検定により、すべてのRMSE差異がp = 0.95で統計的に有意であることが確認され、アドジョイント統合による性能向上が堅実であることが示された。
• 4次元Var解の質の向上は、前向きまたはアドジョイントモデル一般化性能の向上だけでは完全に説明できないことから、両者の相乗効果が存在することが示唆された。
• 学習損失曲線から、アドジョイント情報を利用した手法は、訓練中に前向き損失は低く抑えられるが、アドジョイント損失は高くなる傾向にあり、学習目的のトレードオフが顕在化していることがわかった。