[논문 리뷰] Multistep Neural Networks for Data-driven Discovery of Nonlinear Dynamical Systems

Maziar Raissi, Paris Perdikaris외 1명|arXiv (Cornell University)|2018. 01. 04.

Model Reduction and Neural Networks참고 문헌 15인용 수 154

한 줄 요약

이 논문은 다단계 시간적 스킴을 심층 신경망과 결합하여 데이터로부터 비선형 동적 시스템을 식별하고 미래 상태를 예측하는 신경망 기반 접근법을 제시한다.

ABSTRACT

The process of transforming observed data into predictive mathematical models of the physical world has always been paramount in science and engineering. Although data is currently being collected at an ever-increasing pace, devising meaningful models out of such observations in an automated fashion still remains an open problem. In this work, we put forth a machine learning approach for identifying nonlinear dynamical systems from data. Specifically, we blend classical tools from numerical analysis, namely the multi-step time-stepping schemes, with powerful nonlinear function approximators, namely deep neural networks, to distill the mechanisms that govern the evolution of a given data-set. We test the effectiveness of our approach for several benchmark problems involving the identification of complex, nonlinear and chaotic dynamics, and we demonstrate how this allows us to accurately learn the dynamics, forecast future states, and identify basins of attraction. In particular, we study the Lorenz system, the fluid flow behind a cylinder, the Hopf bifurcation, and the Glycoltic oscillator model as an example of complicated nonlinear dynamics typical of biological systems.

연구 동기 및 목표

• governing equations from temporal data when first-principles models are infeasible.
• 프레임워크를 제시하여 고전적 다단계 시간적 스텝과 신경망을 통합하여 역학을 학습한다.
• 비선형 및 혼돈 시스템 전반에서 지속 가능한 학습, 예측 및 유역 식별을 Demonstrate.

제안 방법

• d/dt x(t) = f(x(t))를 형식화하고 차수 M의 선형 다단계 방법으로 이산화한다.
• f에 신경망 사전을 두어 이산화된 잔차에 대한 평균 제곱 오차 손실을 최소화하여 역학을 학습한다.
• 데이터와 신경망으로 잔차를 생성하기 위해 Adams-Bashforth, Adams-Moulton, 또는 BDF 계열을 사용한다.
• 학습된 시스템을 같은 초기 조건으로 통합하여 미래 상태를 예측한다.
• 트래pezoi 형태의 (M=1 Adams-Moulton) 규칙이 강건한 성능과 학습을 위한 효과적인 데이터 흐름을 제공하는 방법을 탐구한다.

실험 결과

연구 질문

• RQ1 다단계 시간적 스텝 스킴을 신경망과 함께 활용하여 노이즈가 크거나 차원이 높은 시계열에서 비선형 동적 시스템을 정확하게 식별할 수 있는가?
• RQ2 시간 간격 Δt, 데이터 노이즈 및 네트워크 아키텍처가 학습된 역학의 정확도와 견고성에 어떤 영향을 미치는가?
• RQ3 가변 동학(예: 분기점)이나 매개변수화된 동학을 다룰 수 있으며 attractor 또는 극한 주기와 같은 올바른 정성적 거동을 제공하는가?
• RQ4 공간을 넘어 다단계로 인한 기억 효과가 브루트 포스 RNN/NARMAX 방법보다 비마르코프적이거나 고차원 시스템 모델링에 어떤 영향을 미치는가?

주요 결과

• 메서드는 2D 감쇠 진동자, 로렌츠 혼돈 시스템, 실린더 와류 흐름(Navier–Stokes), Hopf 분기, 및 해당 글리콜리틱 진동기와 같은 비선형 시스템의 역학을 식별하고 재현할 수 있다.
• Adams-Moulton(특히 사다리꼴 규칙)이 테스트 구성에서 일반적으로 Adams-Bashforth 또는 BDF보다 상대적 L2 오차가 낮다.
• 성능은 문제 의존적으로 Δt 및 데이터 노이즈에 따라 달라지며, 입력 노이즈 및 데이터 스냅샷 간격이 큰 경우 일부 정규화 효과가 관찰된다.
• 네트워크 깊이를 높이면 정확도가 향상될 수 있지만, 일부 구성요소에 대해서는 과도한 너비가 해에 해를 끼칠 수 있다; M 단계의 기억은 회귀를 완전한 순차 모델보다 단순화한다.
• 이 접근법은 예측력을 향상시킬 뿐만 아니라 수집지별 안정적 영역( basins of attraction ) 및 매개변수화된 동력학(예: Hopf 분기에서 μ의 변화) 식별 능력을 제공한다.
• 그들의 프레임워크는 명시적 시간 기울기를 요구하지 않으며, 선택된 다단계 스킴을 통해 도함수를 이산화하므로 유연한 함수 근사를 가능하게 한다.