[논문 리뷰] HyperSINDy: Deep Generative Modeling of Nonlinear Stochastic Governing Equations

Mozes Jacobs, Bingni W. Brunton외 3명|arXiv (Cornell University)|2023. 10. 07.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

HyperSINDy는 변분 추론 기반의 딥 생성 모델을 도입하여 고차원 데이터로부터 희소하고 해석 가능한 확률적 미분방정식을 발견한다. 이는 변분 인코더와 하이퍼넷워크를 사용하여 노이즈 주도 계수를 갖는 랜덤 평범한 미분방정식을 매개변수화함으로써 이루어지며, 불확실성 정량화를 통한 정확하고 확장 가능한 거버닝 방정식 발견을 가능하게 한다. 이는 기존 방법에 비해 고차원 확률적 시스템에서 뛰어난 성능을 발휘한다.

ABSTRACT

The discovery of governing differential equations from data is an open frontier in machine learning. The sparse identification of nonlinear dynamics (SINDy) \citep{brunton_discovering_2016} framework enables data-driven discovery of interpretable models in the form of sparse, deterministic governing laws. Recent works have sought to adapt this approach to the stochastic setting, though these adaptations are severely hampered by the curse of dimensionality. On the other hand, Bayesian-inspired deep learning methods have achieved widespread success in high-dimensional probabilistic modeling via computationally efficient approximate inference techniques, suggesting the use of these techniques for efficient stochastic equation discovery. Here, we introduce HyperSINDy, a framework for modeling stochastic dynamics via a deep generative model of sparse governing equations whose parametric form is discovered from data. HyperSINDy employs a variational encoder to approximate the distribution of observed states and derivatives. A hypernetwork \citep{ha_hypernetworks_2016} transforms samples from this distribution into the coefficients of a differential equation whose sparse form is learned simultaneously using a trainable binary mask \citep{louizos_learning_2018}. Once trained, HyperSINDy generates stochastic dynamics via a differential equation whose coefficients are driven by a Gaussian white noise. In experiments, HyperSINDy accurately recovers ground truth stochastic governing equations, with learned stochasticity scaling to match that of the data. Finally, HyperSINDy provides uncertainty quantification that scales to high-dimensional systems. Taken together, HyperSINDy offers a promising framework for model discovery and uncertainty quantification in real-world systems, integrating sparse equation discovery methods with advances in statistical machine learning and deep generative modeling.

연구 동기 및 목표

• 기존 방법이 차원의 저주에 시달리는 고차원 데이터로부터 이해 가능하고 희소한 확률적 미분방정식을 발견하는 데 도전하는 것.
• 희소 비선형 역학 식별(SINDy)을 딥 생성 모델링과 변분 추론과 통합하여 확률적 시스템에서 확장 가능한 불확실성 정량화를 달성하는 것.
• 매개변수화된 노이즈 주도 랜덤 ODE 프레임워크를 통해 랜덤 ODE의 기능 형태와 계수를 동시에 발견할 수 있도록 하는 것.
• 암시적 추론과 하이퍼넷워크를 활용하여 기존의 확률적 SINDy 방법에서 발생하는 계산적 병목 현상을 해결하고 효율적이고 확장 가능한 학습을 가능하게 하는 것.
• 물리적으로 해석 가능한 모델을 생성하면서도 실제 확률적 행동과 분산 스케일링을 정확히 포착하는 통합 프레임워크를 제공하는 것.

제안 방법

• 관측된 상태와 그 시간 도함수의 잠재 분포를 추론하기 위해 변분 autoencoder(VAE)를 사용하여 효율적인 사후 근사가 가능하다.
• 하이퍼넷워크는 잠재 샘플을 희소 평범한 미분방정식(ODE)의 계수로 매핑하며, ODE의 기능 형태는 학습 가능한 이진 마스크를 통해 함께 학습된다.
• 계수는 가우시안 화이트 노이즈에 의해 주도되는 확률적 함수로 매개변수화되어, 시스템 내재적 불확실성을 모델링하는 랜덤 ODE(RDE)를 형성한다.
• 모델은 관측된 궤적의 로그우도에 대한 변분 하한(ELBO)을 최소화하는 방식으로 스토하스틱 그래디언트 변분 추론을 사용해 엔드 투 엔드로 훈련된다.
• 학습된 RDE에서 궤적을 생성하기 위해 미분 가능한 ODE 솔버를 사용하여 시간에 따라 역전파가 가능하게 하여 모델 최적화를 지원한다.
• 잠재 공간에서 샘플링하여 다양한 가능성이 있는 확률적 역학을 생성함으로써, 불확실성 정량화를 지원한다.

Figure 1: HyperSINDy Framework . HyperSINDy employs an inference model and generative model to discover an analytical representation of observed stochastic dynamics in the form of a random (nonlinear) ODE $f_{\mathbf{z}}(x)$ . The inference model is an encoder neural network that maps $(\mathbf{x},\

실험 결과

연구 질문

• RQ1 딥 생성 모델은 계산적 타당성을 유지하면서 고차원 데이터로부터 희소하고 해석 가능한 확률적 거버닝 방정식을 효과적으로 발견할 수 있는가?
• RQ2 하이퍼넷워크를 갖는 변분 추론 기반 접근법은 확률적 동역학 시스템의 진짜 드리프트 및 확산 행동을 얼마나 잘 포착할 수 있는가?
• RQ3 기존의 분석적 SINDy 방법이 실패하는 고차원 확률적 시스템(예: 10D Lorenz-96)에 대해 이 프레임워크는 확장 가능한가?
• RQ4 학습된 계수 매개변수의 확률적 성격이 실제 데이터에서 관측된 분산과 비례적으로 스케일링되는가?
• RQ5 학습된 랜덤 ODE에서 궤적을 생성할 때, 모델의 불확실성 정량화는 참값과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• HyperSINDy는 2D 확률적 Lotka-Volterra 시스템에서 참값 드리프트 및 확산 항을 정확히 복원하며, Kramers-Moyal 계수 추정치가 진짜 시스템 행동과 밀접하게 일치한다.
• 모델은 10차원 확률적 Lorenz-96 시스템의 모든 항을 성공적으로 식별하였으며, 특히 확률적 힘 항에 대해 고분산 계수를 정확히 학습하였다.
• HyperSINDy가 생성한 샘플 궤적은 고차원 설정에서도 참값 궤적의 확률적 역학 행동과 매우 유사하게 나타났다.
• 학습된 계수 매개변수의 확률적 성격은 관측된 데이터 분산에 비례하여 스케일링되며, 정확한 불확실성 모델링을 보여주었다.
• 특히 고차원 및 복잡한 시스템에서, HyperSINDy는 확률적 SINDy 기준선에 비해 상태에 의존적인 확산 행동을 더 잘 포착하였다.
• 이 프레임워크는 두 개 이상의 공간 차원을 가진 시스템에서 확장 가능한 불확실성 정량화 및 모델 발견을 가능하게 하여, 이전 방법의 한계를 극복하였다.

Figure 2: 3D Stochastic Lorenz and Rossler . HyperSINDy models trained on trajectories of varying noise ( $\sigma$ ). The mean and standard deviation of the discovered governing equation coefficients are shown. Refer to 9 and 10 for the ground truth equations. Red trajectories indicate sample test t