[논문 리뷰] Sparse identification of nonlinear dynamics and Koopman operators with Shallow Recurrent Decoder Networks

Ming Gao, J. WILLIAMS외 1명|ArXiv.org|2025. 01. 23.

Model Reduction and Neural Networks인용 수 3

한 줄 요약

SINDy-SHRED는 희소 센서에서 해석 가능한 잠재 다이나믹스와 좌표를 공동으로 발견하며, SHRED 기반 프레임워크에서 SINDy 유사 ODE를 강제하고 Koopman-SHRED를 선형 잠재-다이나믹스의 특수 사례로 활용하여 강인하고 샘플 효율적인 시공간 모델링을 가능하게 한다.

ABSTRACT

Modeling real-world spatio-temporal data is exceptionally difficult due to inherent high dimensionality, measurement noise, partial observations, and often expensive data collection procedures. In this paper, we present Sparse Identification of Nonlinear Dynamics with SHallow REcurrent Decoder networks (SINDy-SHRED), a method to jointly solve the sensing and model identification problems with simple implementation, efficient computation, and robust performance. SINDy-SHRED uses Gated Recurrent Units to model the temporal sequence of sparse sensor measurements along with a shallow decoder network to reconstruct the full spatio-temporal field from the latent state space. Our algorithm introduces a SINDy-based regularization for which the latent space progressively converges to a SINDy-class functional, provided the projection remains within the set. In restricting SINDy to a linear model, a Koopman-SHRED model is generated. SINDy-SHRED (i) learns a symbolic and interpretable generative model of a parsimonious and low-dimensional latent space for the complex spatio-temporal dynamics, (ii) discovers new physics models even for well-known physical systems, (iii) achieves provably robust convergence with an observed globally convex loss landscape, and (iv) achieves superior accuracy, data efficiency, and training time, all with fewer model parameters. We conduct systematic experimental studies on PDE data such as turbulent flows, real-world sensor measurements for sea surface temperature, and direct video data. The interpretable SINDy and Koopman models of latent state dynamics enable stable and accurate long-term video predictions, outperforming all current baseline deep learning models in accuracy, training time, and data requirements, including Convolutional LSTM, PredRNN, ResNet, and SimVP.

연구 동기 및 목표

• 희소 센서로부터 고차원 시공간 데이터를 견고하고 데이터 효율적으로 모델링하는 방법 제공.
• SHRED 프레임워크에서 잠재 좌표와 지배 방정식을 공동으로 식별.
• SINDy-정규화된 및 Koopman-정규화된 잠재 다이나믹스를 통해 해석가능한 장기 예측 가능.

제안 방법

• 회귀 가능한 SINDy 유닛을 통해 순환 잠재 상태가 SINDy-클래스 ODE를 따르도록 differentiable SINDy 유닛으로 SHRED 확장.
• 잠재 공간의 다이나믹스를 다항식, 푸리에 항 등 함수 라이브러리로 표현하고 l0-유사 정규화를 통해 희소성 촉진.
• 명시적 인코더 없이 GRU 기반 잠재 공간 사용으로 로버스트성과 과적합 감소.
• 다양한 희소성에서의 SINDy 유닛 앙상블로 학습하여 SHRED 궤적을 점진적으로 SINDy-생성 궤적과 정렬.
• 선형 항으로 라이브러리를 제한하여 선형 잠재 다이나믹스를 얻는 Koopman-SHRED 변형 제공.
• 픽셀 공간 재구성과 잠재 공간 다이나믹스 정규화 및 희소성을 결합한 공동 손실 구현

실험 결과

연구 질문

• RQ1 희소 센서 관찰로부터 희소하고 해석 가능한 잠재 다이나믹스를 발견하여 고차원 시공간 필드를 정확히 재구성하고 예측할 수 있는가?
• RQ2 SINDy 기반 또는 Koopman 기반 잠재 다이나믹스의 강제화가 표준 딥러닝 모델에 비해 장기 안정성과 일반화에 도움이 되는가?
• RQ3 SHRED와 SINDy를 결합하여 실험 및 합성 데이터셋에서 잠재 좌표와 지배 법칙을 얼마나 잘 식별할 수 있는가?

주요 결과

• SINDy-SHRED는 최소한의 하이퍼파라미터 튜닝과 노트북 수준의 계산으로 강한 장기 예측 성능을 달성한다.
• 이 방법은 잠재 좌표와 간결한 지배 방정식을 식별하여 잠재 공간에서의 정확한 외삽과 픽셀 공간에서의 신뢰할 수한 재구성을 가능하게 한다.
• Koopman-SHRED는 선형 잠재 다이나믹스 변형을 제공하여 정확성을 유지하면서 Koopman 해석을 제공한다.
• 합성 PDE, 해양 표면 온도, 대기 오존, GoPro 흐름 비디오, 펜듈럼 비디오 등 데이터셋에서 SINDy-SHRED는 안정적인 장기 거동과 벤치마크(예: ConvLSTM, PredRNN, ResNet, SimVP) 대비 경쟁력 또는 우수한 성능을 보인다.
• SINDy 및 Koopman 형식은 명시적 ODE나 선형 생성자를 포함한 해석가능한 잠재 다이나믹스를 제공하여 외삽 및 물리적 통찰을 향상시킨다.