[논문 리뷰] A Probabilistic State Space Model for Joint Inference from Differential Equations and Data

Jonathan Schmidt, Nicholas Krämer외 1명|arXiv (Cornell University)|2021. 03. 18.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 확률적 상태공간 모델을 제안하며, 확장된 칼만 필터/스무서를 한 번의 전진 계산으로 일반 미분방정식(OED)의 해와 알려지지 않은 시간에 따라 변화하는 잠재력(예: SIRD 모델에서의 접촉률)에 대한 공동 베이지안 추론을 가능하게 한다. 확률적 ODE 해법과 잠재력 모델을 베이지안 필터링을 통해 통합함으로써, 선형 계산 복잡도를 달성하고 데이터, 수치 오차, 모델 구조에서 기인하는 불확실성을 정확히 포착한다. 실제 코로나19 감염자 수 데이터를 바탕으로 검증되었다.

ABSTRACT

Mechanistic models with differential equations are a key component of scientific applications of machine learning. Inference in such models is usually computationally demanding, because it involves repeatedly solving the differential equation. The main problem here is that the numerical solver is hard to combine with standard inference techniques. Recent work in probabilistic numerics has developed a new class of solvers for ordinary differential equations (ODEs) that phrase the solution process directly in terms of Bayesian filtering. We here show that this allows such methods to be combined very directly, with conceptual and numerical ease, with latent force models in the ODE itself. It then becomes possible to perform approximate Bayesian inference on the latent force as well as the ODE solution in a single, linear complexity pass of an extended Kalman filter / smoother - that is, at the cost of computing a single ODE solution. We demonstrate the expressiveness and performance of the algorithm by training, among others, a non-parametric SIRD model on data from the COVID-19 outbreak.

연구 동기 및 목표

• ODE 해와 ODE 동역학을 지배하는 잠재력에 대한 계산 효율적인 공동 추론 방법을 개발하기 위해.
• 기존 추론 파이프라인(예: MCMC 또는 최적화 루프)에서 반복적인 ODE 해법으로 인한 높은 계산 비용을 해결하기 위해.
• 기계적 지식(ODE를 통해)과 관측 데이터를 단일 베이지안 필터링 및 스무딩 프레임워크 내에서 통합하기 위해.
• 관측 데이터, 수치 이산화 오차, 잠재력에 대한 지식 부족 불확실성에 이르기까지 다양한 불확실성의 정량화를 가능하게 하기 위해.
• 실제 전염병학적 데이터(예: 외삽 및 정책 영향 모델링 포함)를 바탕으로 본 방법의 표현력과 효율성을 입증하기 위해.

제안 방법

• 해법과 잠재력이 함께 작용하는 상태공간 과정으로 모델링하며, 잠재력은 비마르코프 전이를 갖는 가우시안 프로세스로 표현된다.
• 확률적 ODE 해법을 확장된 칼만 필터로 구현하며, ODE 적분을 베이지안 필터링 문제로 간주한다.
• 잠재력은 비모수적 함수로서 ODE 벡터 필드에 포함되며, 기저 함수와 상태 벡터를 포함하는 상태공간 표현을 통해 동역학이 모델링된다.
• 관측값은 ODE 상태의 노이즈가 섞인 i.i.d. 가우시안 측정값으로 모델링되며, SIRD 모델에서 수치의 양수성을 확보하기 위해 로그 변환을 적용한다.
• ODE 해와 잠재력에 대한 공동 사후분포는 반복적인 전진 시뮬레이션을 피하기 위해 확장된 칼만 스무서의 단일 전진 계산을 통해 계산된다.
• 확률적 ODE 해법과 잠재력 추론이 단일 베이지안 필터링 프레임워크 내에서 통합될 수 있음을 활용함으로써 선형 시간 복잡도의 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 확률적 ODE 해법과 비모수적 잠재력 모델이 단일 통합 베이지안 추론 프레임워크 내에서 원활하게 통합될 수 있는가?
• RQ2 확장된 칼만 필터/스무서의 단일 전진 계산이 선형 계산 비용으로 ODE 해와 잠재력에 대한 정확한 공동 추론을 가능하게 하는가?
• RQ3 특히 데이터가 적은 영역에서, 관측 데이터, 수치 오차, 잠재력에 대한 지식 부족 불확실성에서 기인하는 불확실성을 얼마나 잘 포착할 수 있는가?
• RQ4 본 방법은 전염병 모델에서 시간에 따라 변화하는 접촉률을 재구성하고, 정책 변화가 있더라도 현실적인 외삽 결과를 도출할 수 있는가?
• RQ5 기존의 반복적 추론 방법(예: MCMC 또는 최적화 기반 접근법)에 비해 정확도와 효율성 측면에서 본 방법은 어떠한가?

주요 결과

• 본 방법은 ODE를 한 번 풀 때와 동일한 계산 복잡도로 ODE 해와 잠재력에 대한 공동 추론을 달성하여 반복적 방법에 비해 비용을 크게 감소시킨다.
• 사용자 수치의 로그 공간 변환 덕분에 접촉률에 대한 사후 신뢰구간은 엄밀히 양수를 유지하여 물리적 일관성을 확보한다.
• 감염자 수가 적은 영역에서는 데이터 부족으로 인해 접촉률 추정의 불확실성이 증가하는 반면, 정부의 엄격한 조치 기간에는 신뢰도가 높아지는 경향을 보인다.
• 재구성된 역학은 관측된 데이터 포인트와 매우 유사하며, 평균 접촉률 추정치는 이전 실험에서 다른 모델 설정을 사용한 결과와도 밀도적으로 일치한다.
• 선형 공간 모델 대비 외삽 결과가 더 현실적으로 나타나며, 로그정규 노이즈 모델이 음수의 감염자 수를 방지하고 실제 데이터의 본질적 불확실성을 반영하기 때문이다.
• SIRD 모델 적용 사례를 통해 관측 노이즈, 수치 이산화 오차, 잠재력에 대한 지식 부족 불확실성 등 다양한 불확실성 원천을 정확히 포착함을 입증하였다.