[논문 리뷰] Bayesian Uncertainty Quantification for Differential Equations

Oksana Chkrebtii, David A. Campbell외 2명|arXiv (Cornell University)|2013. 06. 10.

Gaussian Processes and Bayesian Inference참고 문헌 60인용 수 17

한 줄 요약

이 논문은 해석적으로 접근이 불가능한 미분방정식의 해에 대한 불확실성 정량화를 위한 완전한 베이지안 프레임워크를 제안한다. 해 추정을 통계적 추론 문제로 간주함으로써, 힐버트 공간에서 가우시안 측도를 사용해 시스템 상태를 모델링하고 반복적 샘플링을 적용함으로써 해 공간 상의 사후 측도를 생성한다. 이는 혼돈성, 불안정성 또는 비선형성을 띤 시스템에서 수치적, 매개변수적, 예측 불확실성을 확률적으로 정량화할 수 있게 한다.

ABSTRACT

We develop a fully Bayesian inferential framework to quantify uncertainty in models defined by general systems of analytically intractable differential equations. This approach provides a statistical alternative to deterministic numerical integration for estimation of complex dynamic systems, and probabilistically characterises the solution uncertainty introduced when models are chaotic, ill-conditioned, or contain unmodelled functional uncertainty. Viewing solution estimation as an inference problem allows us to quantify numerical uncertainty using the tools of Bayesian function estimation, which may then be propagated through to uncertainty in the model parameters and subsequent predictions. We incorporate regularity assumptions by modelling system states in a Hilbert space with Gaussian measure, and through iterative model-based sampling we obtain a posterior measure on the space of possible solutions, rather than a single deterministic numerical solution that approximately satisfies model dynamics. We prove some useful properties of this probabilistic solution, propose efficient computational implementation, and demonstrate the methodology on a wide range of challenging forward and inverse problems. Finally, we incorporate the approach into a fully Bayesian framework for state and parameter inference from incomplete observations of the states. Our approach is successfully demonstrated on ordinary and partial differential equation models with chaotic dynamics, ill-conditioned mixed boundary value problems, and an example characterising parameter and state uncertainty in a biochemical signalling pathway which incorporates a nonlinear delay-feedback mechanism.

연구 동기 및 목표

• 복잡한 미분방정식의 수치적 해에 대한 체계적인 불확실성 정량화의 부족을 해결하기 위해, 특히 모델이 혼돈성, 불안정성 또는 모델링되지 않은 기능적 불확실성을 포함할 경우에 대비한다.
• 수치적 적분을 결정론적 방법에서 통계적 추론 접근으로 대체하여 해 과정 중에 수치적 불확실성을 정량화한다.
• 완전한 베이지안 방식으로 해의 불확실성을 매개변수 추론과 예측 분포로 전파한다.
• 복잡한 역학을 포함하는 상미분방정식과 편미분방정식에 대해 전방 문제와 역문제를 효율적으로 해결할 수 있는 계산적으로 실현 가능한 방법을 개발한다.
• 불완전하거나 노이즈가 있는 관측치로부터 상태와 매개변수 추론을 통합된 확률적 프레임워크 내에서 수행한다.

제안 방법

• 정규성 가정과 사전 지식을 반영하기 위해, 힐버트 공간에서 가우시안 프로세스 사전분포를 사용해 시스템 상태를 모델링한다.
• 해 추정을 베이지안 추론 문제로 재정의하여, 함수 공간 상의 사후 측도가 불확실성이 정량화된 해를 나타내도록 한다.
• 마르코프 체인 몬테카를로 또는 변분 추론과 같은 반복적이고 모델 기반의 샘플링 기법을 사용해 해 공간 상의 사후 측도를 근사한다.
• 조건부 확률 전파를 통해 해의 사후 분포에서 유래한 불확실성을 매개변수와 예측으로 전파한다.
• 관측 데이터를 상태 궤적 상의 가능도로 정의함으로써 상태와 매개변수의 동시 추론을 가능하게 한다.
• 비선형 지연 피드백을 포함한 시스템에 대해 전방 문제(역학 예측)와 역문제(관측치로부터 매개변수 추론) 모두에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 해석적으로 접근이 불가능한 미분방정식의 해에 대한 수치적 불확실성을 통계적 프레임워크를 통해 어떻게 시스템적으로 정량화할 수 있는가?
• RQ2 해 추정에 대한 베이지안 접근이 혼돈성 또는 불안정한 시스템에서 불확실성을 일관된 확률적 특성으로 제공할 수 있는가?
• RQ3 완전한 베이지안 추론 파이프라인에서 해의 불확실성은 어떻게 매개변수 추정치와 예측 분포로 전파될 수 있는가?
• RQ4 고차원 해 공간에 대해 효율적인 사후 근사화를 가능하게 하는 계산 전략은 무엇인가?
• RQ5 이 프레임워크는 복잡한 동역학적 시스템의 상태 및 매개변수 추론에서 불완전하거나 노이즈가 있는 관측치를 효과적으로 다룰 수 있는가?

주요 결과

• 제안된 베이지안 프레임워크는 해 함수 상의 사후 측도를 성공적으로 생성하여, 단일 결정론적 수치 해를 전체적인 불확실성 정량화를 반영한 확률적 특성으로 대체한다.
• 이 방법은 혼돈성 역학, 불안정성, 모델링되지 않은 기능 형태에서 기인하는 수치적 불확실성을 정량화할 수 있으며, 이는 결정론적 해법이 포착하지 못하는 부분이다.
• 해의 불확실성은 효과적으로 매개변수 추정치와 예측 분포로 전파되어, 역문제에서 일관된 불확실성 정량화를 가능하게 한다.
• 이 방법은 혼돈성 상미분방정식, 혼합 경계 조건을 가진 불안정한 편미분방정식, 비선형 지연 피드백 시스템과 같은 도전적인 문제들에 대해 효과적임이 입증되었다.
• 이 프레임워크는 불완전한 관측치로부터 상태와 매개변수를 동시에 추론할 수 있으며, 상태 및 매개변수 불확실성 정량화를 위한 통합적 해결책을 제공한다.