[论文解读] Learning About Structural Errors in Models of Complex Dynamical Systems

Jinlong Wu, Matthew E. Levine+2 more|arXiv (Cornell University)|Dec 29, 2023

Meteorological Phenomena and Simulations被引用 7

一句话总结

本文提出一种数据驱动框架，通过将误差模型嵌入现有闭合模型中，以学习并校正复杂动力系统模型中的结构性误差。利用无导数卡尔曼反演和稀疏性约束，该方法可从间接、噪声大且不完整的观测中实现稳健校准——已在Lorenz-96模型和葡萄糖-胰岛素模型上成功验证，无需提供误差本身的标注输入-输出对，即可实现高精度的误差校正。

ABSTRACT

Complex dynamical systems are notoriously difficult to model because some degrees of freedom (e.g., small scales) may be computationally unresolvable or are incompletely understood, yet they are dynamically important. For example, the small scales of cloud dynamics and droplet formation are crucial for controlling climate, yet are unresolvable in global climate models. Semi-empirical closure models for the effects of unresolved degrees of freedom often exist and encode important domain-specific knowledge. Building on such closure models and correcting them through learning the structural errors can be an effective way of fusing data with domain knowledge. Here we describe a general approach, principles, and algorithms for learning about structural errors. Key to our approach is to include structural error models inside the models of complex systems, for example, in closure models for unresolved scales. The structural errors then map, usually nonlinearly, to observable data. As a result, however, mismatches between model output and data are only indirectly informative about structural errors, due to a lack of labeled pairs of inputs and outputs of structural error models. Additionally, derivatives of the model may not exist or be readily available. We discuss how structural error models can be learned from indirect data with derivative-free Kalman inversion algorithms and variants, how sparsity constraints enforce a "do no harm" principle, and various ways of modeling structural errors. We also discuss the merits of using non-local and/or stochastic error models. In addition, we demonstrate how data assimilation techniques can assist the learning about structural errors in non-ergodic systems. The concepts and algorithms are illustrated in two numerical examples based on the Lorenz-96 system and a human glucose-insulin model.

研究动机与目标

• 解决复杂动力系统模型中的结构性误差问题，其中未解析尺度对预测结果有显著影响。
• 通过从系统输出的间接、噪声大且不完整的观测中学习，克服结构性误差缺乏标注数据的局限。
• 开发一种系统性框架，在保留半经验闭合模型领域特定知识的同时，通过数据驱动的修正加以增强。
• 通过施加稀疏性约束并融入物理约束到误差模型中，确保模型的泛化能力和可解释性。
• 通过在推理流程中将数据同化作为子程序，实现在非遍历和非平稳系统中的学习。

提出的方法

• 将结构性误差模型嵌入复杂动力系统现有的闭合模型中，使误差能够非线性地映射到可观测数据。
• 使用无导数卡尔曼反演算法（如集合卡尔曼反演）在模型导数不可用或难以计算时校准误差模型。
• 应用稀疏性约束以实现“不造成伤害”原则，防止模型在无数据区域引入新误差。
• 利用数据同化技术（如3DVAR）作为子程序，估计潜在状态并预测观测结果，从而实现从瞬态、部分和噪声时间序列中学习。
• 采用非局部和/或随机形式的误差模型，以更好地捕捉复杂、非扩散性动力学（如湍流中的相干结构）。
• 将学习问题表述为最小化损失函数，通过观测算子将模拟可观测量与实际数据进行比较，利用序列数据同化构建预测估计。

实验结果

研究问题

• RQ1 当不存在对误差的直接观测时，如何从无直接观测误差的数据中学习复杂动力系统闭合模型中的结构性误差？
• RQ2 稀疏性约束在确保学习到的误差模型不会在数据稀疏区域降低性能方面发挥什么作用？
• RQ3 当模型导数不可用时，无导数优化方法能否有效校准复杂、非线性误差模型？
• RQ4 数据同化技术如何增强在非遍历和非平稳系统中学习结构性误差的能力？
• RQ5 与局部确定性模型相比，使用非局部或随机误差模型在捕捉复杂动力学行为方面有何优势？

主要发现

• 该方法成功利用仅有部分、噪声大且瞬态的时间序列数据，对非遍历、非平稳系统实现了高精度的下一步预测，准确学习了模型修正。
• 神经网络误差模型在广泛输入 $I_p$ 范围内准确捕捉了真实的缺失线性项 $-I_p/t_p$，但在观测数据范围外表现出虚假行为。
• 在某些情况下，模型学会忽略不活跃输入（如 $G$），但在超出训练数据分布的外推中，对它们表现出虚假依赖。
• 稀疏性约束有效减少了对不活跃变量的虚假依赖，表明其在提升模型泛化能力和可解释性方面的实用性。
• 将数据同化作为子程序使用，使在状态仅部分观测且动力学为瞬态的系统中实现有效推断成为可能。
• 该框架即使在误差模型未被直接观测、仅通过数据间接引导的情况下，也能实现对结构性误差的稳健学习，证明了其在真实复杂系统中的可行性。