[논문 리뷰] Emulating the dynamics of complex systems using autoregressive models on manifolds (mNARX)

Styfen Schär, Stefano Marelli외 1명|arXiv (Cornell University)|2023. 06. 28.

Model Reduction and Neural Networks인용 수 1

한 줄 요약

이 논문은 비선형 자기회귀 모델을 위한 물리 기반의 점진적 외부 입력 다중체를 구축함으로써 복잡한 동역학 시스템을 모의하는 정확도와 효율성을 향상시키는 새로운 서rogate 모델링 프레임워크 mNARX를 소개한다. 저차원 시스템에서는 기존 NARX 모델보다 뛰어난 성능을 보이며, 풍력 터빈과 같은 고차원이며 제어 기반의 시스템에 대해서도 최소한의 학습 데이터로 안정적이고 장기적인 예측을 가능하게 한다.

ABSTRACT

We propose a novel surrogate modelling approach to efficiently and accurately approximate the response of complex dynamical systems driven by time-varying exogenous excitations over extended time periods. Our approach, namely manifold nonlinear autoregressive modelling with exogenous input (mNARX), involves constructing a problem-specific exogenous input manifold that is optimal for constructing autoregressive surrogates. The manifold, which forms the core of mNARX, is constructed incrementally by incorporating the physics of the system, as well as prior expert- and domain- knowledge. Because mNARX decomposes the full problem into a series of smaller sub-problems, each with a lower complexity than the original, it scales well with the complexity of the problem, both in terms of training and evaluation costs of the final surrogate. Furthermore, mNARX synergizes well with traditional dimensionality reduction techniques, making it highly suitable for modelling dynamical systems with high-dimensional exogenous inputs, a class of problems that is typically challenging to solve. Since domain knowledge is particularly abundant in physical systems, such as those found in civil and mechanical engineering, mNARX is well suited for these applications. We demonstrate that mNARX outperforms traditional autoregressive surrogates in predicting the response of a classical coupled spring-mass system excited by a one-dimensional random excitation. Additionally, we show that mNARX is well suited for emulating very high-dimensional time- and state-dependent systems, even when affected by active controllers, by surrogating the dynamics of a realistic aero-servo-elastic onshore wind turbine simulator. In general, our results demonstrate that mNARX offers promising prospects for modelling complex dynamical systems, in terms of accuracy and efficiency.

연구 동기 및 목표

• 장기간의 시간 간격에 걸쳐 비선형적이거나 비연속적인 반응을 보이는 복잡한 동역학 시스템을 정확하고 효율적으로 모의하는 데 도전하는 것.
• 다중체 기반 접근을 통해 문제를 저복잡도 하위 문제로 분해함으로써 기존 NARX 모델의 데이터 및 계산 부담을 줄이는 것.
• 도메인 전문 지식과 사전 물리적 이해를 서rogate 모델링 과정에 통합하여 일반화 능력을 향상시키고 대규모 데이터셋에 대한 의존도를 줄이는 것.
• 특히 활성 제어 시스템을 갖춘 시스템에서 고차원 외부 입력을 효과적으로 모델링하기 위해 mNARX를 차원 축소 기법과 결합하는 것.
• 극단적 또는 희귀한 반응 조건에서도 정확도를 유지하는 확장 가능하고 강력한 서rogate 모델링 프레임워크를 개발하는 것.

제안 방법

• mNARX는 이전 NARX 모델 예측에서 유도된 특징, 전문 지식, 물리 법칙을 통합함으로써 문제에 특화된 외부 입력 다중체를 점진적으로 구축한다.
• 각 모델이 점차 enriched된 특징 공간에서 학습되는 비선형 자기회귀 모델(NARX)의 순차적 체인을 사용한다.
• 다중체에는 원시 입력, 과거 예측값, 도메인 특화 특징이 포함되어 정보량이 증가하고 복잡한 동역학을 모델링할 수 있다.
• 이 방법은 자동에코더와 같은 차원 축소 기법과 시너지를 발휘하여 고차원 입력 공간을 효율적으로 처리할 수 있다.
• 체인 내 각 NARX 모델은 저차수 다항 회귀를 사용하여 학습 및 평가 비용을 최소화하면서도 정확도를 유지한다.
• 이 프레임워크는 데이터 기반 다중체 구축 및 신경망과 같은 대체 NARX 아키텍처를 포함하도록 확장 가능하며, 이는 더 높은 성능을 위해 더 많은 데이터와 계산 자원을 요구한다.

실험 결과

연구 질문

• RQ1 mNARX는 최소한의 학습 데이터로 저차원 비선형 동역학 시스템에서 기존 NARX 모델보다 더 높은 예측 정확도를 달성할 수 있는가?
• RQ2 mNARX는 활성 제어 시스템을 갖춘 고차원이며 시간 및 상태에 의존하는 시스템, 예를 들어 항공-서보-탄성 풍력 터빈 시뮬레이터에서 얼마나 잘 성능을 발휘하는가?
• RQ3 도메인 지식을 입력 다중체에 통합할 경우 모델의 일반화 능력 향상과 데이터 요구량 감소에 얼마나 기여하는가?
• RQ4 mNARX는 기존 NARX 모델이 도전적인 비연속적이거나 비연속적인 시스템 반응을 어떻게 다루는가?
• RQ5 mNARX는 복잡한 고차원 동역학 시스템에서 오차 누적이 적은 안정적인 장기 예측을 유지할 수 있는가?

주요 결과

• mNARX는 단지 100개의 학습 평가로도 두 개의 질량-스프링 시스템을 고정밀도로 모의하여 기존 NARX 모델을 능가했다.
• 항공-서보-탄성 풍력 터빈 시뮬레이터의 경우, 복잡한 제어기 동역학을 모델링함에도 불구하고 mNARX는 안정적인 장기 예측과 최소한의 오차 누적 효과를 보였다.
• 76,000개의 평가를 위한 mNARX 서rogate의 학습 시간은 200시간 이내로 유지되어 확장성을 입증했다.
• mNARX는 기존 NARX보다 훨씬 적은 학습 데이터를 요구했으며, 하위 문제에 저차수 다항 회귀 NARX 모델을 사용함으로써 서rogate 학습 비용이 낮게 유지되었다.
• 특정 입력 공간의 고영향 영역에 집중하기 위해 샘플링을 시행했을 때도 mNARX는 극단적 반응을 효과적으로 포착하는 데에 우수한 성능을 보였다.
• 차원 축소 기법과 결합했을 때 고차원 외부 입력에 대해서도 mNARX는 성능을 유지했으며, 이는 실생활 공학 시스템에 적합함을 입증했다.