[논문 리뷰] Fast approximate Bayesian inference for stable differential equation models

Philip Maybank, Ingo Bojak외 1명|arXiv (Cornell University)|2017. 06. 02.

Gaussian Processes and Bayesian Inference참고 문헌 12인용 수 8

한 줄 요약

이 논문은 안정된 고정점 주변의 선형화와 윌틀 리크라이크 likelihood를 활용하여, 안정된 미분방정식 모델에 대한 빠른 근사 베이지안 추론 방법을 제안한다. 이는 계산 비용을 크게 감소시켜 장시간 시계열 데이터(10,000개 이상의 시간점)와 중간 차원의 시스템(10–50개 상태 변수 및 매개변수)에 대해 효율적인 사후 추론을 가능하게 하며, 최신 기법들보다 수개의 차수만큼 빠른 속도 향상을 이끌어내면서도 기울기 기반 샘플링과 재매개변수화를 통해 정확한 사후 탐색을 유지한다.

ABSTRACT

Inference for mechanistic models is challenging because of nonlinear interactions between model parameters and a lack of identifiability. Here we focus on a specific class of mechanistic models, which we term stable differential equations. The dynamics in these models are approximately linear around a stable fixed point of the system. We exploit this property to develop fast approximate methods for posterior inference. We illustrate our approach using simulated data on a mechanistic neuroscience model with EEG data. More generally, stable differential equation models and the corresponding inference methods are useful for analysis of stationary time-series data. Compared to the existing state-of-the art, our methods are several orders of magnitude faster, and are particularly suited to analysis of long time-series (>10,000 time-points) and models of moderate dimension (10-50 state variables and 10-50 parameters.)

연구 동기 및 목표

• 고차원 상태 공간과 장시간 시계열 데이터를 가진 비선형 미분방정식 모델에서 정확한 베이지안 추론의 계산 불가능성을 해결한다.
• 큰 n(시간점 수), d(상태 차원), p(매개변수 수)에 대해 스케일링이 잘 되지 않는 기존의 가짜 마진형 MCMC 및 하이퍼볼릭 몬테카를로 방법의 한계를 극복한다.
• 역동이 안정된 고정점 주변에서 약간의 선형성과 유사한 시스템에서 적용 가능한 확장 가능한 추론 프레임워크를 개발한다. 이는 시스템 생물학과 계산 신경과학에서 흔한 상황이다.
• 균형 상태 값 기반 재매개변수화와 윌틀 리크라이크 likelihood의 해석적 도함수를 활용하여 사후 탐색과 사후 가능도 추정을 향상시킨다.
• 정확한 방법이 수개월이 걸릴 정도로 수렴이 매우 느린 경우에도, 해석적 근사로 계산 복잡도를 감소시켜 정확한 추론을 가능하게 한다.

제안 방법

• 안정된 고정점 주변에서 시스템 역학을 선형화하여 스펙트럼 밀도의 해석적 계산을 가능하게 하고, 비용이 많이 드는 수치적 적분을 대체한다.
• 윌틀 리크라이크 likelihood를 사용하여 매개변수의 주변 가능도를 근사함으로써, 평가당 계산 비용을 O(n)에서 O(log n)으로 감소시킨다.
• 균형 상태 값들을 매개변수로 사용하여 모델을 재매개변수화함으로써 사후 기하학을 단순화하고 MCMC 혼합 속도를 향상시킨다.
• 윌틀 리크라이크 likelihood의 해석적 도함수를 유도하여 하이퍼볼릭 몬테카를로와 같은 효율적인 기울기 기반 MCMC 알고리즘을 가능하게 한다.
• 선형화와 윌틀 리크라이크 근사의 정확도를 평가하기 위한 히우리스틱을 적용하여 추론의 신뢰성을 확보한다.
• 이러한 기법들을 조합하여 장시간 시계열(n > 10,000)과 중간 차원 모델(d ≈ 10–50, p ≈ 10–50)에 적합한 확장 가능한 추론 파이프라인을 구축한다.

실험 결과

연구 질문

• RQ1 비용이 많이 드는 입자 MCMC나 완전한 수치적 적분에 의존하지 않고도 안정된 미분방정식 모델에 대해 빠르고 정확한 베이지안 추론을 달성할 수 있는가?
• RQ2 장시간 시계열 데이터를 가진 비선형 시스템에서 안정된 고정점 주변의 선형화가 사후 추론 정확도에 어떤 영향을 미치는가?
• RQ3 복잡한 비선형 역동성을 가진 상태공간 모델에서 윌틀 리크라이크 likelihood가 완전한 가능도 평가를 얼마나 잘 대체할 수 있는가?
• RQ4 균형 상태 값 기반 재매개변수화가 고차원 매개변수 공간에서 MCMC 수렴과 혼합 속도를 크게 향상시킬 수 있는가?
• RQ5 이 맥락에서 하이퍼볼릭 몬테카를로 알고리즘에 대해 윌틀 리크라이크 likelihood의 해석적 도함수를 사용할 경우 계산적 성능 향상은 어느 정도인가?

주요 결과

• 제안된 방법은 최신 기술인 입자 MCMC 및 하이퍼볼릭 몬테카를로 방법보다 계산 비용을 수개의 차수만큼 감소시킨다.
• 장시간 시계열(n > 10,000)에 대해서는 표준 구현 방식이 데스크톱 컴퓨터에서 수개월이 걸리는 경우에도 이 방법은 실행 가능한 추론을 가능하게 한다.
• 수치적 적분 없이도 해석적 스펙트럼 밀도 계산과 함께 윌틀 리크라이크 likelihood를 사용함으로써 정확한 주변 가능도 근사가 가능하다.
• 균형 상태 값 기반 재매개변수화로 추가로 한 단계의 계산 복잡도 감소와 함께 MCMC 혼합 효율성이 향상된다.
• 윌틀 리크라이크 likelihood의 해석적 도함수를 활용하여 기울기 기반 샘플링이 효율적으로 가능해져 수렴 속도가 더욱 빨라진다.
• 매개변수 식별이 어려운 경우에도 사후 추론 정확도를 유지하며, 사후 의존성 구조를 포괄하는 데에 점근 추정치나 라플라스 근사보다 뛰어난 성능을 보인다.