[論文レビュー] Learning About Structural Errors in Models of Complex Dynamical Systems

Jinlong Wu, Matthew E. Levine+2 more|arXiv (Cornell University)|Dec 29, 2023

Meteorological Phenomena and Simulations被引用数 7

ひとこと要約

本論文は、既存の閉じ込めモデルに誤差モデルを埋め込むことで、複雑な力学的システムのモデルにおける構造的誤差を学習および是正するデータ駆動型フレームワークを提案する。導出不能なカルマン逆問題とスパarsity制約を用いることで、間接的でノイズが多く、部分的な観測からも頑健にキャリブレーションが可能である—Lorenz-96モデルおよびグルコースインスリンモデルで成功裏に実証された。誤差そのもののラベル付き入出力ペアが不要な状況でも、正確な誤差是正が可能である。

ABSTRACT

Complex dynamical systems are notoriously difficult to model because some degrees of freedom (e.g., small scales) may be computationally unresolvable or are incompletely understood, yet they are dynamically important. For example, the small scales of cloud dynamics and droplet formation are crucial for controlling climate, yet are unresolvable in global climate models. Semi-empirical closure models for the effects of unresolved degrees of freedom often exist and encode important domain-specific knowledge. Building on such closure models and correcting them through learning the structural errors can be an effective way of fusing data with domain knowledge. Here we describe a general approach, principles, and algorithms for learning about structural errors. Key to our approach is to include structural error models inside the models of complex systems, for example, in closure models for unresolved scales. The structural errors then map, usually nonlinearly, to observable data. As a result, however, mismatches between model output and data are only indirectly informative about structural errors, due to a lack of labeled pairs of inputs and outputs of structural error models. Additionally, derivatives of the model may not exist or be readily available. We discuss how structural error models can be learned from indirect data with derivative-free Kalman inversion algorithms and variants, how sparsity constraints enforce a "do no harm" principle, and various ways of modeling structural errors. We also discuss the merits of using non-local and/or stochastic error models. In addition, we demonstrate how data assimilation techniques can assist the learning about structural errors in non-ergodic systems. The concepts and algorithms are illustrated in two numerical examples based on the Lorenz-96 system and a human glucose-insulin model.

研究の動機と目的

• 解明されていないスケールが予測に顕著に影響を与える複雑な力学的システムのモデルにおける構造的誤差の課題に対処すること。
• 構造的誤差のラベル付きデータが不足する状況を克服し、システム出力の間接的でノイズが多く、部分的な観測から学習すること。
• 分野固有の知識を保持する半経験的閉じ込めモデルの枠組みを維持しつつ、データに基づいた補正を組み込む体系的なフレームワークを開発すること。
• スパarsity制約を適用し、物理的制約を誤差モデルに組み込むことで、モデルの一般化性能と解釈可能性を確保すること。
• データ同化を推論パイプライン内のサブルーチンとして用いることで、非エルゴード的かつ非定常的システムにおける学習を可能にすること。

提案手法

• 複雑な力学的システムの既存の閉じ込めモデルに構造的誤差モデルを埋め込み、誤差が非線形に観測データに影響を与えるようにする。
• モデルの導出が不可能または困難な場合に備え、導出不能なカルマン逆問題アルゴリズム（例：アンサンブルカルマン逆問題）を用いて誤差モデルをキャリブレーションする。
• スパarsity制約を適用して「害をなさない」原則を強制し、データのない領域で新たな誤差を導入するのを防ぐ。
• データ同化技術（例：3DVAR）をサブルーチンとして用い、潜在状態を推定し、観測を予測することで、一時的で部分的かつノイズの多い時系列からの学習を可能にする。
• 乱流におけるコherent構造のような複雑で非拡散的ダイナミクスをよりよく捉えるために、非局所的および／または確率的定式化を用いて構造的誤差をモデル化する。
• 観測演算子を介してシミュレートされた観測値と実際のデータを比較する損失関数の最小化として学習問題を定式化し、逐次的データ同化を用いて予測推定を構築する。

実験結果

リサーチクエスチョン

• RQ1 直接的な誤差観測が存在しない状況で、複雑な力学的システムの閉じ込めモデルにおける構造的誤差をどのように学習できるか？
• RQ2 スパarsity制約は、データが少ない領域で学習された誤差モデルの性能を低下させない役割を果たすか？
• RQ3 モデルの導出が得られない状況で、導出不能な最適化手法が複雑で非線形な誤差モデルを効果的にキャリブレーションできるか？
• RQ4 データ同化技術は、非エルゴード的かつ非定常的システムにおける構造的誤差の学習をどのように向上させるか？
• RQ5 非局所的または確率的誤差モデルは、局所的決定論的モデルに比べて、複雑なダイナミクス行動を捉える上でどのような利点を有するか？

主な発見

• 本手法は、部分的でノイズが多く、一時的な時系列データのみを用いても、非エルゴード的かつ非定常的システムにおける誤差補正を成功裏に学習し、次ステップ予測において高い正確性を達成した。
• ニューラルネットワーク誤差モデルは、入力 $I_p$ の広い範囲で真の欠落した線形項 $-I_p/t_p$ を正確に捉えているが、観測データ範囲外では誤った挙動を示した。
• 一部のケースでは、誤差モデルは無関係な入力（例：$G$）を無視するが、学習データ分布外への外挿では、それらに誤った依存関係を示した。
• スパarsity制約は、無関係な変数への誤った依存関係を低減するのに有効であり、モデルの一般化性能と解釈可能性向上に貢献する可能性を示唆している。
• データ同化をサブルーチンとして用いることで、状態が部分的にしか観測されず、ダイナミクスが一時的なシステムに対しても効果的な推論が可能になった。
• 誤差モデルが観測されておらず、データによって間接的にしか情報が得られない状況でも、本フレームワークは構造的誤差のロバストな学習を可能にした。実世界の複雑なシステムへの適用可能性を示した。