[論文レビュー] Emulating the dynamics of complex systems using autoregressive models on manifolds (mNARX)

Styfen Schär, Stefano Marelli+1 more|arXiv (Cornell University)|Jun 28, 2023

Model Reduction and Neural Networks被引用数 1

ひとこと要約

本論文は、非線形自己回帰モデルに物理的制約を組み込み、逐次的に外部入力多様体を構築することで、複雑な力学系のエミュレーションにおける精度と効率を向上させる、mNARXと呼ばれる新しい代理モデルフレームワークを提案する。低次元系では標準NARXモデルを上回り、風力タービンのような高次元で制御装置が作用する系に対しても、最小限の訓練データで安定的かつ長期的な予測を可能にする。

ABSTRACT

We propose a novel surrogate modelling approach to efficiently and accurately approximate the response of complex dynamical systems driven by time-varying exogenous excitations over extended time periods. Our approach, namely manifold nonlinear autoregressive modelling with exogenous input (mNARX), involves constructing a problem-specific exogenous input manifold that is optimal for constructing autoregressive surrogates. The manifold, which forms the core of mNARX, is constructed incrementally by incorporating the physics of the system, as well as prior expert- and domain- knowledge. Because mNARX decomposes the full problem into a series of smaller sub-problems, each with a lower complexity than the original, it scales well with the complexity of the problem, both in terms of training and evaluation costs of the final surrogate. Furthermore, mNARX synergizes well with traditional dimensionality reduction techniques, making it highly suitable for modelling dynamical systems with high-dimensional exogenous inputs, a class of problems that is typically challenging to solve. Since domain knowledge is particularly abundant in physical systems, such as those found in civil and mechanical engineering, mNARX is well suited for these applications. We demonstrate that mNARX outperforms traditional autoregressive surrogates in predicting the response of a classical coupled spring-mass system excited by a one-dimensional random excitation. Additionally, we show that mNARX is well suited for emulating very high-dimensional time- and state-dependent systems, even when affected by active controllers, by surrogating the dynamics of a realistic aero-servo-elastic onshore wind turbine simulator. In general, our results demonstrate that mNARX offers promising prospects for modelling complex dynamical systems, in terms of accuracy and efficiency.

研究の動機と目的

• 長期間にわたり非線形的・非滑らか・不連続な応答を示す複雑な力学系を、高精度かつ高効率にエミュレートする課題に対処すること。
• 多様体に基づくアプローチにより、問題を低複雑性の部分問題に分解することで、従来のNARXモデルのデータおよび計算負荷を軽減すること。
• ドメイン固有の知識や物理的理解を代理モデル構築プロセスに統合することで、一般化性能を向上させ、大規模データセットへの依存を低減すること。
• 特に制御装置が作用する系において、高次元の外部入力を効果的にモデリングするため、mNARXを次元削減技術と組み合わせること。
• 極端またはレアな応答条件下でも予測精度を維持できるスケーラブルで頑健な代理モデルフレームワークを構築すること。

提案手法

• mNARXは、物理法則、専門家の知識、および過去のNARXモデル予測から導出された特徴量を統合することで、問題固有の外部入力多様体を段階的に構築する。
• 本手法は、外部入力を伴う非線形自己回帰モデル（NARX）の逐次的連鎖を用いる。各NARXモデルは、多様体から導出された次第に豊かになった特徴空間上で訓練される。
• 多様体には、元の入力、過去の予測、ドメイン固有の特徴量が含まれ、情報量が増加し、複雑な動的挙動のモデリングが可能になる。
• 本アプローチは、自己符号化器などの次元削減技術と相乗効果を発揮し、高次元入力空間を効率的に処理できる。
• 連鎖内の各NARXモデルは低次の多項式回帰を用いるため、訓練および評価コストが最小限に抑えられつつも、精度を維持できる。
• 本フレームワークは、データ駆動型多様体構築や、ニューラルネットワークなどの代替NARXアーキテクチャを組み込むことで拡張可能であり、性能を向上させるが、それに伴いデータおよび計算リソースの増加を伴う。

実験結果

リサーチクエスチョン

• RQ1 mNARXは、最小限の訓練データで、低次元で非線形的な力学系に対して、標準NARXモデルよりも高い予測精度を達成できるか？
• RQ2 mNARXは、アクティブ制御システムを備えた気圧・制御・弾性系風力タービンのような、高次元で時間的・状態依存的な系のエミュレーションにどの程度効果を発揮するか？
• RQ3 ドメイン知識を入力多様体に統合することで、モデルの一般化性能がどの程度向上し、データ要件がどの程度低減されるか？
• RQ4 mNARXは、古典的NARXモデルが困難とする非滑らかまたは不連続な系応答をどのように処理するか？
• RQ5 mNARXは、複雑で高次元の力学系において、誤差蓄積が最小限に抑えられ、安定した長期予測を維持できるか？

主な発見

• mNARXは、たった100件の訓練評価でのみ、2質量2ばね系の高精度なエミュレーションを達成し、標準NARXモデルを上回った。
• 気圧・制御・弾性系風力タービンシミュレータにおいて、mNARXは複雑な制御装置のダイナミクスをモデル化しても、誤差蓄積が最小限で安定した長期予測を生成した。
• mNARXの訓練時間は、76,000件の評価でも200時間未満に抑えられ、スケーラビリティを示した。
• mNARXは、標準NARXよりもはるかに少ない訓練データで済み、低次の多項式NARXモデルを部分問題に適用することで、代理モデルの訓練コストが低く抑えられた。
• 入力空間の高影響領域に焦点を当てたサブサンプリングを適用した際、極端な応答を捉えるという点で、mNARXは頑健性を示した。
• 次元削減と組み合わせることで、高次元の外部入力に対してもmNARXは性能を維持した。これは、実世界の工学的システムに適したことを示している。