[论文解读] Emulating the dynamics of complex systems using autoregressive models on manifolds (mNARX)

Styfen Schär, Stefano Marelli+1 more|arXiv (Cornell University)|Jun 28, 2023

Model Reduction and Neural Networks被引用 1

一句话总结

该论文提出mNARX，一种新颖的代理建模框架，通过构建物理信息驱动的、渐进式的外生输入流形，提升了复杂动力系统模拟的精度与效率。在低维系统上，其性能优于标准NARX模型；在高维、受控制器影响的系统（如风力涡轮机）中，仅需极少的训练数据，即可实现稳定且长期的预测。

ABSTRACT

We propose a novel surrogate modelling approach to efficiently and accurately approximate the response of complex dynamical systems driven by time-varying exogenous excitations over extended time periods. Our approach, namely manifold nonlinear autoregressive modelling with exogenous input (mNARX), involves constructing a problem-specific exogenous input manifold that is optimal for constructing autoregressive surrogates. The manifold, which forms the core of mNARX, is constructed incrementally by incorporating the physics of the system, as well as prior expert- and domain- knowledge. Because mNARX decomposes the full problem into a series of smaller sub-problems, each with a lower complexity than the original, it scales well with the complexity of the problem, both in terms of training and evaluation costs of the final surrogate. Furthermore, mNARX synergizes well with traditional dimensionality reduction techniques, making it highly suitable for modelling dynamical systems with high-dimensional exogenous inputs, a class of problems that is typically challenging to solve. Since domain knowledge is particularly abundant in physical systems, such as those found in civil and mechanical engineering, mNARX is well suited for these applications. We demonstrate that mNARX outperforms traditional autoregressive surrogates in predicting the response of a classical coupled spring-mass system excited by a one-dimensional random excitation. Additionally, we show that mNARX is well suited for emulating very high-dimensional time- and state-dependent systems, even when affected by active controllers, by surrogating the dynamics of a realistic aero-servo-elastic onshore wind turbine simulator. In general, our results demonstrate that mNARX offers promising prospects for modelling complex dynamical systems, in terms of accuracy and efficiency.

研究动机与目标

• 解决在长时间范围内对具有非线性、非光滑或不连续响应的复杂动力系统进行精确且高效模拟的挑战。
• 通过基于流形的方法将问题分解为复杂度更低的子问题，降低传统NARX模型的数据与计算负担。
• 将特定领域的知识与先验物理理解整合到代理建模过程中，以提升泛化能力并减少对大规模数据集的依赖。
• 通过结合降维技术，实现对高维外生输入的有效建模，特别是在具有主动控制器的系统中。
• 开发一种可扩展且鲁棒的代理建模框架，即使在极端或罕见响应条件下也能保持预测精度。

提出的方法

• mNARX通过逐步整合物理定律、专家知识以及先前NARX模型预测结果所导出的特征，构建问题特定的外生输入流形。
• 该方法采用一系列具有外生输入的非线性自回归模型（NARX）构成的序列链，每个模型均在由流形导出的逐步丰富化的特征空间上进行训练。
• 流形包含原始输入、历史预测结果以及特定领域的特征，提升了信息含量，从而能够对复杂动力学进行建模。
• 该方法可与降维技术（如自编码器）协同工作，高效处理高维输入空间。
• 链中的每个NARX模型均采用低次多项式回归，从而在保持精度的同时最小化训练与推理成本。
• 该框架可扩展以支持数据驱动的流形构建以及替代的NARX架构（如神经网络），以在增加数据与计算成本的前提下进一步提升性能。

实验结果

研究问题

• RQ1 mNARX能否在仅使用极少训练数据的情况下，实现对低维非线性动力系统更高的预测精度，优于标准NARX模型？
• RQ2 mNARX在模拟高维、时变与状态相关的系统（如带有主动控制系统的气动-伺服-弹性风力涡轮机）时表现如何？
• RQ3 将领域知识整合到输入流形在多大程度上能提升模型泛化能力并减少数据需求？
• RQ4 mNARX如何处理经典NARX模型难以应对的非光滑或不连续系统响应？
• RQ5 mNARX能否在复杂高维动力系统中保持长期稳定预测，并有效控制误差累积？

主要发现

• mNARX仅用100次训练评估即实现了对耦合双质量双弹簧系统的高精度模拟，优于标准NARX模型。
• 在气动-伺服-弹性风力涡轮机模拟器中，mNARX即使在建模复杂控制器动力学时，也实现了误差累积极小的稳定长期预测。
• mNARX代理模型的训练时间保持在较低水平——即使在76,000次评估的情况下也未超过200小时，证明了其可扩展性。
• mNARX所需训练数据远少于标准NARX，且由于在子问题上使用低次多项式NARX模型，代理训练成本始终保持较低。
• 当通过子采样聚焦于输入空间的高影响区域时，该方法在捕捉极端响应方面表现出鲁棒性。
• 当结合降维技术时，mNARX在高维外生输入下仍能保持性能，证明其适用于现实工程系统。