[논문 리뷰] Bayesian differential programming for robust systems identification under uncertainty

Yibo Yang, Mohamed Aziz Bhouri외 1명|arXiv (Cornell University)|2020. 04. 15.

Gaussian Processes and Bayesian Inference인용 수 7

한 줄 요약

이 논문은 비선형 동역계의 정밀한 발견을 가능하게 하기 위해 미분 가능한 ODE 해법기와 하미르토니안 몬테카를로(Hamiltonian Monte Carlo)를 조합한 베이지안 미분 프로그래밍 프레임워크를 제안한다. 이는 노이즈가 많고 희소하며 비정규적으로 샘플링된 데이터로부터 강건한 시스템 식별을 가능하게 한다. 이 방법은 모델 파라미터에 대한 전체 사후분포를 효율적으로 추론하여 불확실성 정량화, 해석 가능성, 그리고 단순성(파라미터 수 최소화)을 동시에 확보한다.

ABSTRACT

This paper presents a machine learning framework for Bayesian systems identification from noisy, sparse and irregular observations of nonlinear dynamical systems. The proposed method takes advantage of recent developments in differentiable programming to propagate gradient information through ordinary differential equation solvers and perform Bayesian inference with respect to unknown model parameters using Hamiltonian Monte Carlo. This allows us to efficiently infer posterior distributions over plausible models with quantified uncertainty, while the use of sparsity-promoting priors enables the discovery of interpretable and parsimonious representations for the underlying latent dynamics. A series of numerical studies is presented to demonstrate the effectiveness of the proposed methods including nonlinear oscillators, predator-prey systems, chaotic dynamics and systems biology. Taken all together, our findings put forth a novel, flexible and robust workflow for data-driven model discovery under uncertainty.

연구 동기 및 목표

• 포인트 추정에 의존하는 기존 데이터 기반 시스템 식별 방법에서의 불확실성 정량화 부족 문제를 해결한다.
• 실제 과학 응용 분야에서 흔히 볼 수 있는 노이즈가 많고 희소하며 비정규적으로 샘플링된 시계열 데이터로부터 강건한 추론을 가능하게 한다.
• 다양한 프로그래밍과 희소성 유도 사전분포를 조합한 완전한 베이지안 워크플로우를 개발하여 해석 가능하고 단순한 동역학 모델을 발견한다.
• 신뢰할 수 있는 미래 예측과 함께 불확실성 정량화를 제공하여, 복잡한 시스템의 제어 및 의사결정에서 모델 신뢰도를 높인다.
• 부정확한 데이터와 불안정한 파라미터 추정을 다루는 데 어려움을 겪는 희소 회귀 및 비미분 가능 추론 방법의 한계를 극복한다.

제안 방법

• 복잡한 동역학계에서 기울기 기반 추론을 가능하게 하기 위해 수치적 ODE 해법기의 경로를 역전파하여 기울기를 전파하는 다양한 프로그래밍 기법을 활용한다.
• ODE 해법기에서 유도된 기울기 정보를 활용해 고차원의 모델 파라미터 사후분포에서 효율적으로 샘플링하는 하미르토니안 몬테카를로(Hamiltonian Monte Carlo, HMC)를 적용한다.
• 희소성 유도 사전분포(예: 라플라스 또는 호르슈프 사전분포)를 통합하여 기저 동역학을 단순하고 해석 가능한 형태로 표현한다.
• 특히 데이터가 적고 고차원적이거나 강성(stiff)한 시스템에서 수렴을 향상시키기 위해 MAP 사전 조정 단계를 도입한다.
• 이식 가능한 기울기 기반 훈련을 지원하여 데이터 보간 없이도 비정규적인 샘플링과 누락된 데이터를 자연스럽게 처리한다.
• 기계적 사전지식을 통합한 사전분포와 함께 사전학습 기반 사전학습 기법을 조합하여 데이터에서 기업 방정정식을 탄력적으로 발견하면서도 물리적 해석 가능성을 유지한다.

실험 결과

연구 질문

• RQ1 다양한 프로그래밍이 노이즈가 많고 비정규적인 관측을 가진 비선형 동역계에 대해 효율적이고 확장 가능한 베이지안 추론을 가능하게 할 수 있는가?
• RQ2 희소성 유도 사전분포의 통합이 발견된 동역학 모델의 해석 가능성과 강건성에 어떤 영향을 미치는가?
• RQ3 제안된 프레임워크는 새로운 초기 조건에 대해 얼마나 잘 일반화되며, 외삽 예측에서 신뢰할 수 있는 불확실성 추정을 제공할 수 있는가?
• RQ4 노이즈에 대한 강건성과 불확실성 정량화 측면에서, 스파스 식별 기반 비선형 역학(SINDy)과 같은 최첨단 기법과 비교해 볼 때 어떤가?
• RQ5 이 프레임워크는 강성(stiffness)이 있거나 매우 희소한 데이터를 다룰 때 수치적 불안정성이나 수렴 문제 없이 잘 작동하는가?

주요 결과

• 희소하고 노이즈가 많은 데이터 조건에서도 비선형 진동자, 천적-피식자 시스템, 효모 당해리시스 모델 등 다양한 시스템에 대해 모델 파라미터에 대한 전체 사후분포를 성공적으로 추론하였다.
• 효모 당해리시스 모델의 불확실성 추정치는 진짜 파라미터 값과 강한 일치를 보였으며, 모든 파라미터에서 중앙값 추정치가 참값의 1~5% 이내로 정확하였다.
• 추론된 모델은 새로운 초기 조건에 대해 잘 일반화되어 있으며, 외삽 테스트에서 기준 해와의 높은 일치도를 보이며 정확한 예측과 함께 불확실성 정량화를 제공하였다.
• 희소성 유도 사전분포의 사용으로 기저 시스템의 본질적 행동을 더 적은 항으로 간결하고 해석 가능한 동역학 모델을 발견하였다.
• 특히 노이즈가 많고 데이터가 적은 환경에서 SINDy와 같은 최첨단 기법보다 노이즈에 대한 강건성과 불확실성 정량화 측면에서 뛰어난 성능을 보였다.
• MAP 사전 조정 단계는 MCMC 수렴을 크게 향상시켰지만, 매우 희소한 환경에서의 강성 문제는 여전히 안정화가 필요한 과제로 남아 있다.