[논문 리뷰] Bayesian autoencoders for data-driven discovery of coordinates, governing equations and fundamental constants

Liyao Gao, J. Nathan Kutz|arXiv (Cornell University)|2022. 11. 19.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 저데이터, 고노이즈의 시공간 데이터로부터 잠재 좌표와 지배 방정식을 동시에 발견하기 위해 계층적 스파이크-앤프레슬 고정밀도 가우시안-랩라스 사전을 사용하는 베이지안 SINDy 오토에인코드어를 제안한다. 이 방법은 확률적 경량화 랭글레인 동역학(SGLD)을 통해 계산적으로 타당한 베이지안 사후 샘플링을 가능하게 하여 불확실성 정량화를 수반한 정확한 물리 법칙 발견을 달성한다. 실제 영상 데이터 14초만으로도 단순 진자 방정식을 성공적으로 복원하고 중력 가속도 $g$를 추정하였다.

ABSTRACT

Recent progress in autoencoder-based sparse identification of nonlinear dynamics (SINDy) under $\ell_1$ constraints allows joint discoveries of governing equations and latent coordinate systems from spatio-temporal data, including simulated video frames. However, it is challenging for $\ell_1$-based sparse inference to perform correct identification for real data due to the noisy measurements and often limited sample sizes. To address the data-driven discovery of physics in the low-data and high-noise regimes, we propose Bayesian SINDy autoencoders, which incorporate a hierarchical Bayesian sparsifying prior: Spike-and-slab Gaussian Lasso. Bayesian SINDy autoencoder enables the joint discovery of governing equations and coordinate systems with a theoretically guaranteed uncertainty estimate. To resolve the challenging computational tractability of the Bayesian hierarchical setting, we adapt an adaptive empirical Bayesian method with Stochatic gradient Langevin dynamics (SGLD) which gives a computationally tractable way of Bayesian posterior sampling within our framework. Bayesian SINDy autoencoder achieves better physics discovery with lower data and fewer training epochs, along with valid uncertainty quantification suggested by the experimental studies. The Bayesian SINDy autoencoder can be applied to real video data, with accurate physics discovery which correctly identifies the governing equation and provides a close estimate for standard physics constants like gravity $g$, for example, in videos of a pendulum.

연구 동기 및 목표

• 기존의 스파arsity 회귀가 불안정성과 낮은 일반화 능력으로 인해 실패하는 저데이터, 고노이즈 환경에서 물리 법칙 발견 문제를 해결하기 위해.
• 딥 오토에인코드어와 결합된 베이지안 스파arsity 추론을 통해 동역학계에서 잠재 좌표와 지배 방정식을 동시에 발견하기 위해.
• 신뢰할 수 있는 데이터 기반 의사결정을 위해 이론적으로 탄탄한 불확실성 정량화를 제공하기 위해.
• 대규모 또는 고차원 환경에서 계층적 베이지안 모델의 계산 비가역성을 해결하기 위해 적응형 경험 베이지안과 SGLD 샘플링을 활용하기 위해.
• 시간 도함수가 노이즈가 많고 샘플 수가 제한된 실세계 영상 데이터(예: 진자 운동)로부터 견고한 발견을 가능하게 하기 위해.

제안 방법

• 프레임워크는 딥 오토에인코드어와 베이지안 SINDy 모듈을 결합하며, SINDy 레이어는 지배 방정식 계수의 스파arsity를 강제하기 위해 스파이크-앤프레슬 가우시안-랩라스(SSFGL) 사전을 적용한다.
• SSFGL 사전은 각 계수를 영점에서의 확률질량(스파이크)과 랩라스 분포(슬래브)의 혼합으로 모델링하여 변수 선택과 불확실성 추정을 동시에 가능하게 한다.
• 모델 파라미터의 사후 분포를 근사하기 위해 적응형 경험 베이지안 접근법을 사용하여 전체 MCMC 샘플링이 필요 없도록 한다.
• 확률적 경량화 랭글레인 동역학(SGLD)을 사용해 효율적인 베이지안 사후 샘플링을 수행함으로써 실영상 데이터에 대한 확장 가능한 훈련을 가능하게 한다.
• 재구성 손실, SINDy 예측 손실, 베이지안 증거를 동시에 최적화하며, 불확실성은 사후 샘플을 통해 전파된다.
• 기울기 기반 최적화를 유지하면서도 불확실성 추정치를 보존하기 위해, 미분 가능 SGLD 기반 사후 근사에 기반한 엔드 투 엔드 훈련 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 저데이터 및 고노이즈 조건에서 기존 SINDy 오토에인코드어에 비해 베이지안 SINDy 오토에인코드어가 지배 방정식과 잠재 좌표를 더 잘 발견할 수 있는가?
• RQ2 진짜 역학이 잘못 지정되었거나 데이터에 노이즈가 많을 때, 베이지안 프레임워크는 발견된 모델의 불확실성을 얼마나 잘 정량화하는가?
• RQ3 계층적 스파이크-앤프레슬 사전을 사용할 경우, 실영상 데이터에서 표준 L1 기반 스파arsity에 비해 모델 선택 정확도와 내성력이 향상되는가?
• RQ4 이 방법은 최소한의 실세계 영상 자료에서 중력 가속도 $g$와 같은 기본 물리 상수를 성공적으로 복원할 수 있는가?
• RQ5 베이지안 프레임워크에서의 불확실성 정량화는 발견된 모델의 신뢰성과 해석 가능성에 얼마나 기여하는가?

주요 결과

• 베이지안 SINDy 오토에인코드어는 실영상 데이터 14초만으로도 진자의 지배 방정식 $\ddot{z} = -g\sin(z)$ 를 성공적으로 발견하였으며, 재구성된 $g$ 값은 실제 물리 상수에 가까웠다.
• 디코더 손실은 0.779, $\ddot{x}$의 재구성 손실은 0.364, $\ddot{z}$의 재구성 손실은 0.416였으며, 재구성에서 설명되지 않은 분산 비율은 0.012였다.
• SINDy 예측에서 설명되지 않은 분산 비율은 $\ddot{x}$의 경우 0.210, $\ddot{z}$의 경우 0.941이었으며, 노이즈가 있음에도 불구하고 잠재 역학에서 뛰어난 성능을 보였다.
• 베이지안 프레임워크는 사후 샘플을 통해 유효한 불확실성 추정치를 제공했으며, 랩라스 사전이 정확한 항 $\sin(z)$ 를 식별하지 못했을 때도 마찬가지였다.
• 스파이크-앤프레슬 사전은 랩라스 사전보다 모델 발견 정확도와 시각적 재구성 품질에서 뛰어난 성능을 보였으며, 후자는 잘못된 항 $z$ 를 식별하여 $\sin(z)$ 를 잘못 식별했다.
• 이 방법은 훈련에 단 1,500 에포크만을 요구했고, 10회의 시험에서 70%의 성공률을 기록했으며, 나머지 30%는 모델 오지정으로 인해 활성 항을 식별하지 못했다.