[論文レビュー] Learning to Assimilate in Chaotic Dynamical Systems

Michael T. McCabe, Jed Brown|arXiv (Cornell University)|Nov 1, 2021

Meteorological Phenomena and Simulations参考文献 58被引用数 4

ひとこと要約

本論文では、真のデータを必要とせず、ノイズが混じった部分観測と微分可能シミュレーションのみを用いて、カオス的力学系における初期状態を推定する自己教師あり深層学習フレームワーク「アモアタイズド・アサimilation」を提案する。変分アサimilationの計算コストをニューラルネットワークの学習によってアモアタイズすることにより、特にアンサンブルサイズが小さく、ノイズが多い状況でも、従来のデータアサimilation手法を上回る性能を発揮する。

ABSTRACT

The accuracy of simulation-based forecasting in chaotic systems is heavily dependent on high-quality estimates of the system state at the time the forecast is initialized. Data assimilation methods are used to infer these initial conditions by systematically combining noisy, incomplete observations and numerical models of system dynamics to produce effective estimation schemes. We introduce amortized assimilation, a framework for learning to assimilate in dynamical systems from sequences of noisy observations with no need for ground truth data. We motivate the framework by extending powerful results from self-supervised denoising to the dynamical systems setting through the use of differentiable simulation. Experimental results across several benchmark systems highlight the improved effectiveness of our approach over widely-used data assimilation methods.

研究の動機と目的

• カオス的力学系において、初期状態の誤差が急速に拡大するという課題に対処すること。
• 真のデータを一切必要とせず、ノイズが混じった部分観測にのみ依存するデータアサimilation手法の開発。
• 変分データアサimilationの計算負荷を、アモアタイズドによりニューラルネットワークのポリシーを学習することで低減すること。
• 微分可能シミュレーションを用いて、静的システムから動的システムへと自己教師ありノイズ除去の理論的基盤を拡張すること。
• 特にリソース制約（アンサンブルサイズが小さいなど）下でも、数値予報のようなハイリスク応用分野における予測精度の向上。

提案手法

• 微分可能シミュレーションから導出された自己教師あり目的関数を用いて、アンサンブルカルマンフィルタ（EnKF）をインspiredとするニューラルネットワークアーキテクチャを訓練する。
• システムのダイナミクスを逆伝播可能にするため、微分可能シミュレーションを活用し、アサimilationネットワークのエンドツーエンド学習を可能にする。
• データアサimilation問題を、観測シーケンスから改善された状態推定へマッピングするシーケンス・トゥ・シーケンス学習タスクとして扱う。
• BatsonとRoyerの自己教師ありノイズ除去理論を動的システムへ拡張し、モデル自身の予測を仮の真のラベルとして用いる目的関数を導出する。
• DAPPERライブラリを用いて実装され、ODEおよびPDEの両方をサポートしており、Lorenz-96、Kuramoto-Shivashinsky、Vissio-Lucarini 20のシステムを含む。
• 一度訓練が終了すれば、最適化問題を解くことなく高速かつ逐次的なフィルタリングが可能になる、アモアタイズド推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 真の初期状態が入手不可な状況下でも、自己教師あり深層学習フレームワークがカオス的システムにおけるアサimilationを効果的に学習できるか。
• RQ2 アモアタイズド・アサimilationは、確立された変分およびアンサンブルベースのデータアサimilation手法と比較して、精度と頑健性において優れているか。
• RQ3 アンサンブルサイズが小さく、観測ノイズが強いといった困難な条件下でも、本手法は性能を維持できるか。
• RQ4 自己教師ありノイズ除去の理論的基盤を、時間的に変化する状態を有する動的システムへどの程度まで拡張できるか。
• RQ5 本フレームワークは、ODEおよびPDEを含むさまざまな種類のカオス的システムに一般化可能か。

主な発見

• アモアタイズド・アサimilation（AmEnF）は、Lorenz-96、Kuramoto-Shivashinsky、Vissio-Lucarini 20を含むすべてのベンチマークシステムにおいて、4D-Var、LETKF、iEnKSと同等またはそれ以上の性能を発揮する。
• 特にアンサンブルサイズが小さく、ノイズが多い状況で顕著な性能向上を示し、非線形性とアンサンブル表現の劣化により従来手法が苦戦する状況で顕著である。
• Kuramoto-Shivashinsky PDEにおいても、理論的仮定がODEに基づいているにもかかわらず、最良のパフォーマンスを示すモデルと同等の精度を達成する。
• 繰り返し実験においても高い安定性を示し、一般化能と頑健性の高さを裏付けている。
• 学習コストは微分可能シミュレーションの繰り返しによる高さがあるが、アモアタイズド推論は高速かつスケーラブルであり、運用予報に適している。
• 随伴（adjoints）が利用可能な場合、レガシーモデルとも互換性があるが、これが現在の採用の制限要因の一つである。