[논문 리뷰] Rapid Bayesian identification of sparse nonlinear dynamics from scarce and noisy data

Lloyd Fung, Urban Fasel외 1명|arXiv (Cornell University)|2024. 02. 23.

Spectroscopy and Chemometric Analyses인용 수 5

한 줄 요약

Bayesian-SINDy는 SINDy를 빠른 가우시안 근사 베이지안 프레임워크로 재구성하여 희소한 비선형 동역학을 희소하고 노이즈가 있는 데이터로 식별하고 불확실성을 정량화한다.

ABSTRACT

We propose a fast probabilistic framework for identifying differential equations governing the dynamics of observed data. We recast the SINDy method within a Bayesian framework and use Gaussian approximations for the prior and likelihood to speed up computation. The resulting method, Bayesian-SINDy, not only quantifies uncertainty in the parameters estimated but also is more robust when learning the correct model from limited and noisy data. Using both synthetic and real-life examples such as Lynx-Hare population dynamics, we demonstrate the effectiveness of the new framework in learning correct model equations and compare its computational and data efficiency with existing methods. Because Bayesian-SINDy can quickly assimilate data and is robust against noise, it is particularly suitable for biological data and real-time system identification in control. Its probabilistic framework also enables the calculation of information entropy, laying the foundation for an active learning strategy.

연구 동기 및 목표

• 노이즈가 많고 데이터가 희소한 상황에서 지배 방정식의 견고한 발견을 고무한다.
• SINDy와 희소 베이지안 학습을 결합하여 학습된 모델의 불확실성을 정량화한다.
• 희소성과 정확성을 촉진하면서 비용이 큰 샘플링(예: MCMC)을 피한다.
• 기존의 SINDy 기반 접근법과 비교한 데이터 효율성과 견고성을 평가한다.
• 엔트로피 기반 불확실성 추정치를 통한 활성 학습의 기초를 마련한다.

제안 방법

• SINDy를 해석적 계산 가능성을 유지하기 위해 Gaussian 가능도와 Gaussian 사전분포를 갖는 베이지안 회귀 문제로 재구성한다.
• 시간 도함수 학습을 t = D w + ε로 모델링하고 D = L_I Θ(X) 및 t = L_∂t X로 두고 Θ(X)와 시간 도함수를 통한 노이즈 전파를 고려한다.
• 로그 증거 J(t|D,β,α)를 도출하고 D의 열을 가지치기하여 증거를 최대화하는 반복적이고 그리디한 알고리즘을 사용한다(희소 모델 선택).
• 올바른 항은 양의 증거를 유지하고 잘못된 항은 억제하도록 사전 하이퍼파라미터 α를 설정하는 새로운 접근법을 도입한다.
• 오차 분산에서 w 의존적 잡음 항을 통해 현재 w를 기반으로 노이즈 정밀도 β를 반복적으로 업데이트한다.
• 약한 형식(weak formulation)과 유한 차분 방식의 도함수 추정을 선택적으로 비교하고 잡음 처리 영향에 대해 논의한다.

실험 결과

연구 질문

• RQ1 전통적인 SINDy보다 더 나은 불확실성 정량화와 함께 희소성 촉진 베이지안 회귀가 희소하고 노이즈가 많은 데이터에서 올바른 지배 방정식을 신속하게 회복할 수 있는가?
• RQ2 라이브러리와 도함수 추정을 통해 노이즈가 전파될 때 모델 선택과 견고성에 어떤 영향을 미치는가?
• RQ3 빠르고 α-β 최적화된 그리디 증거 최대화 전략이 비싼 샘플링 없이도 정확한 모델을 산출하는가?
• RQ4 베이지안 프레임워크에서 노이즈 하에서 도함수 추정을 위한 약한 형식과 유한 차분의 비교는 어떤가?
• RQ5 정보 이론적 척도(예: 엔트로피)를 통한 활성 학습을 이 프레임워크가 가능하게 하는가?

주요 결과

• Bayesian-SINDy는 학습된 계수의 불확실성을 정량화하고 노이즈 및 데이터 부족 상황에서 비베이지안 SINDy 변형보다 더 견고한 모델 발견을 제공한다.
• 증거 기반 모델 선택을 갖춘 가우시안 근사 베이지안 회귀가 간결하고 올바른 동역학 항을 효율적으로 식별한다.
• 이 방법은 MCMC를 피하고 증거 최대화를 통해 희소성을 촉진함으로써 샘플링 기반 베이지안 방법에 비해 계산 속도를 높인다.
• 데이터에서 라이브러리와 도함수 추정을 통한 노이즈 전파를 고려하면 항 선택의 신뢰성이 향상된다.
• 이 프레임워크는 실시간 시스템 식별 시나리오를 지원하며 정보 이론적 척도에 의한 활성 학습 가능성이 있다.