[论文解读] Error estimation for surrogate models of dynamical systems using machine learning.

Sumeet Trehan, Kevin Carlberg+1 more|arXiv (Cornell University)|Jan 12, 2017

Model Reduction and Neural Networks被引用 5

一句话总结

该论文提出了一种机器学习框架，通过将低成本的误差指标映射到感兴趣的量的时间瞬时误差，利用高维回归（如随机森林、LASSO）预测参数化动力系统中代理模型的误差。该方法通过局部回归模型提升了非线性地下水流模拟中降阶模型的精度，并实现了实时误差校正和对集成误差的统计建模。

ABSTRACT

A machine-learning-based framework for modeling the error introduced by surrogate models of parameterized dynamical systems is proposed. The framework entails the use of high-dimensional regression techniques (e.g., random forests, LASSO) to map a large set of inexpensively computed `error indicators' (i.e., features) produced by the surrogate model at a given time instance to a prediction of the surrogate-model error in a quantity of interest (QoI). This eliminates the need for the user to hand-select a small number of informative features. The methodology requires a training set of parameter instances at which the time-dependent surrogate-model error is computed by simulating both the high-fidelity and surrogate models. Using these training data, the method first determines regression-model locality (via classification or clustering), and subsequently constructs a `local' regression model to predict the time-instantaneous error within each identified region of feature space. We consider two uses for the resulting error model: (1) as a correction to the surrogate-model QoI prediction at each time instance, and (2) as a way to statistically model arbitrary functions of the time-dependent surrogate-model error (e.g., time-integrated errors). We apply the proposed framework to model errors in reduced-order models of nonlinear oil--water subsurface flow simulations. The reduced-order models used in this work entail application of trajectory piecewise linearization with proper orthogonal decomposition. When the first use of the method is considered, numerical experiments demonstrate consistent improvement in accuracy in the time-instantaneous QoI prediction relative to the original surrogate model, across a large number of test cases. When the second use is considered, results show that the proposed method provides accurate statistical predictions of the time- and well-averaged errors.

研究动机与目标

• 为量化和校正参数化动力系统中代理模型引入的误差提供解决方案。
• 通过在大量低成本误差指标上应用高维回归，消除对手动选择信息特征的需求。
• 开发一种局部回归建模方法，以适应特征空间的不同区域，从而提升误差预测精度。
• 实现实时校正代理模型预测，并对感兴趣的量的时间积分误差进行统计建模。
• 通过轨迹分段线性化和本征正交分解，将该框架验证于非线性油–水平面地下水流模拟的降阶模型上。

提出的方法

• 该框架使用参数实例的训练集，其中同时执行高保真度和代理模型模拟，以计算随时间变化的代理模型误差。
• 通过分类或聚类对误差指标的特征空间进行分析，识别出局部区域，从而实现局部回归建模。
• 在每个识别出的区域内构建局部回归模型（如随机森林、LASSO），以预测感兴趣的量的瞬时误差。
• 该方法支持两种应用：(1) 在每个时间步对代理模型的QoI预测进行校正；(2) 对时间依赖误差的函数（如时间和井平均误差）进行统计建模。
• 在每个时间实例处低成本计算误差指标，并将其作为回归模型的特征。
• 该方法通过使用高维回归自动识别相关误差模式，避免了对人工挑选特征的依赖。

实验结果

研究问题

• RQ1 机器学习模型能否有效利用大量低成本误差指标，预测代理模型的时间瞬时误差？
• RQ2 在异质特征空间中，局部回归建模相比全局模型在误差预测精度方面有何提升？
• RQ3 预测的误差模型在多种测试案例中，能否实现实时校正代理模型预测？
• RQ4 该框架能否准确建模时间积分误差的统计特性，如时间和井平均值？
• RQ5 当应用于复杂非线性动力系统（如地下水流模拟）时，该方法的鲁棒性如何？

主要发现

• 在广泛测试案例中，所提出的方法始终比原始代理模型更准确地预测感兴趣的量的时间瞬时预测值。
• 基于聚类或分类的特征空间区域构建的局部回归模型，相比全局模型能提供更精确的误差预测。
• 该框架通过预测并调整瞬时误差，实现了对代理模型输出的有效实时校正。
• 利用预测的误差模型对时间和井平均误差进行统计建模，结果准确，展示了其在不确定性量化中的实用性。
• 该方法通过在全面的误差指标集合上应用高维回归，减少了对专家驱动特征选择的依赖。
• 该方法在非线性油–水平面地下水流的降阶模型上得到验证，展现出在复杂真实应用场景中的优异性能。