[论文解读] Machine Learning for Robust Identification of Complex Nonlinear Dynamical Systems: Applications to Earth Systems Modeling

Nishant Yadav, Sai Ravela+1 more|arXiv (Cornell University)|Aug 12, 2020

Gaussian Processes and Bayesian Inference参考文献 39被引用 7

一句话总结

本文提出了一种基于高斯过程的机器学习方法，用于在复杂非线性动力系统中实现鲁棒的参数估计，以混沌的Lorenz-96模型为基准。结果表明，在小样本数据约束下，基于核函数的高斯过程优于深度学习和线性回归，能够在地球系统建模中提供更优的预测精度和不确定性量化。

ABSTRACT

Systems exhibiting nonlinear dynamics, including but not limited to chaos, are ubiquitous across Earth Sciences such as Meteorology, Hydrology, Climate and Ecology, as well as Biology such as neural and cardiac processes. However, System Identification remains a challenge. In climate and earth systems models, while governing equations follow from first principles and understanding of key processes has steadily improved, the largest uncertainties are often caused by parameterizations such as cloud physics, which in turn have witnessed limited improvements over the last several decades. Climate scientists have pointed to Machine Learning enhanced parameter estimation as a possible solution, with proof-of-concept methodological adaptations being examined on idealized systems. While climate science has been highlighted as a "Big Data" challenge owing to the volume and complexity of archived model-simulations and observations from remote and in-situ sensors, the parameter estimation process is often relatively a "small data" problem. A crucial question for data scientists in this context is the relevance of state-of-the-art data-driven approaches including those based on deep neural networks or kernel-based processes. Here we consider a chaotic system - two-level Lorenz-96 - used as a benchmark model in the climate science literature, adopt a methodology based on Gaussian Processes for parameter estimation and compare the gains in predictive understanding with a suite of Deep Learning and strawman Linear Regression methods. Our results show that adaptations of kernel-based Gaussian Processes can outperform other approaches under small data constraints along with uncertainty quantification; and needs to be considered as a viable approach in climate science and earth system modeling.

研究动机与目标

• 为解决地球系统模型中长期存在的参数化不确定性问题，特别是在气候和气象模拟中的挑战。
• 评估现代数据驱动机器学习技术（尤其是基于核函数的方法）在小样本、复杂、非线性动力系统中的有效性。
• 比较高斯过程、深度学习和线性回归在有限数据条件下对混沌系统参数估计的性能表现。
• 评估不确定性量化在提升气候建模中参数估计的鲁棒性和可解释性方面的作用。
• 确立高斯过程作为在数据稀缺的地球系统科学中进行系统辨识的一种可行且可靠的替代方法。

提出的方法

• 本研究采用两级Lorenz-96模型作为混沌、非线性动力学的基准，代表大气和气候系统。
• 采用高斯过程回归框架进行参数估计，利用其非参数特性及内置的不确定性量化能力。
• 方法在有限的观测或模拟数据上进行训练，通过最大化边际似然函数优化超参数。
• 使用相同的训练与测试数据划分，将性能与深度神经网络和线性回归模型进行对比。
• 通过核函数设计融入对系统动力学的先验知识，从而在数据稀缺条件下提升泛化能力。
• 通过后验方差量化参数估计的不确定性，实现鲁棒性评估和置信区间构建。

实验结果

研究问题

• RQ1 在小样本数据条件下，基于核函数的高斯过程是否能在混沌、非线性动力系统的参数估计中优于深度学习和线性回归？
• RQ2 高斯过程中的不确定性量化如何提升地球系统建模中参数估计的可靠性？
• RQ3 模型复杂度和数据稀缺性对不同机器学习方法在非线性系统辨识中预测精度的影响如何？
• RQ4 在训练数据有限的情况下，高斯过程在复杂混沌系统（如Lorenz-96模型）上的泛化能力达到何种程度？
• RQ5 当应用于具有固有非线性和噪声的真实地球系统动力学时，不同机器学习方法的预测能力如何比较？

主要发现

• 在小样本数据集上训练时，高斯过程在预测精度方面显著优于深度学习和线性回归。
• 与基线模型相比，该方法在参数估计中实现了更低的均方根误差（RMSE），尤其在高噪声或低数据条件下表现更优。
• 基于核函数的高斯过程提供了可靠的不确定性估计，其置信区间与真实参数变异性高度吻合。
• 该方法对模型误设和噪声表现出鲁棒性，在多种实验设置下均保持稳定性能。
• 在小样本条件下，深度学习模型表现出更严重的过拟合，而线性模型则无法有效捕捉非线性动力学特征。
• 本研究证实，高斯过程是数据有限但需关键不确定性量化的地球系统中系统辨识的强有力候选方法。