[논문 리뷰] Bayesian estimation in differential equation models

Prithwish Bhaumik, Subhashis Ghosal|arXiv (Cornell University)|2014. 03. 03.

Control Systems and Identification참고 문헌 15인용 수 5

한 줄 요약

이 논문은 소음이 있는 다차원 데이터를 갖는 상미분방정식(ODE) 모델의 매개수를 베이지안 두 단계 추정 방법으로 추정한다. B-스플라인 기저 함수를 사용하여 평균 함수를 비모수적으로 추정한다. 비록 회귀 함수의 사후 수렴 속도가 $ n^{-1/2} $ 보다 느리지만, 매개수 $ \bm{\theta} $ 는 $ n^{-1/2} $ 속도로 추정되며, Bernstein-von Mises 정리가 성립하여 $ \bm{\theta} $ 의 사후 분포가 渐近적으로 정규분포를 이룬다.

ABSTRACT

Ordinary differential equations (ODEs) are used to model dynamic systems appearing in engineering, physics, biomedical sciences and many other fields. These equations contain unknown parameters, say $θ$ of physical significance which have to be estimated from the noisy data. Often there is no closed form analytic solution of the equations and hence we cannot use the usual non-linear least squares technique to estimate the unknown parameters. There is a two step approach to solve this problem, where the first step involves fitting the data nonparametrically. In the second step the parameter is estimated by minimizing the distance between the nonparametrically estimated derivative and the derivative suggested by the system of ODEs. The statistical aspects of this approach have been studied under the frequentist framework. We consider this two step estimation under the Bayesian framework. The response variable is allowed to be multidimensional and the true mean function of it is not assumed to be in the model. We induce a prior on the regression function using a random series based on the B-spline basis functions. We establish the Bernstein-von Mises theorem for the posterior distribution of the parameter of interest. Interestingly, even though the posterior distribution of the regression function based on splines converges at a rate slower than $n^{-1/2}$, the parameter vector $θ$ is nevertheless estimated at $n^{-1/2}$ rate.

연구 동기 및 목표

• 닫힌 형식의 해가 없는 ODE 모델에서 매개수 추정을 위한 베이지안 프레임워크를 개발하기 위해.
• 진짜 평균 함수가 모형 공간에 포함되지 않는다고 가정할 때 ODE의 매개수를 추정하는 데 도전하기 위해.
• 베이지안 비모수적 접근에서 빈도주의적 점근적 성질—특히 Bernstein-von Mises 정리—를 확립하기 위해.
• 비모수 회귀 함수의 수렴 속도가 느리더라도 관심 있는 매개수 $ \bm{\theta} $ 가 최적의 $ n^{-1/2} $ 수렴 속도를 달성할 수 있음을 보여주기 위해.
• 기존의 비선형 최소제곱 또는 초기 매개수 값에 의존하는 반복적 방법에 비해 계산적으로 효율적인 대안을 제공하기 위해.

제안 방법

• 응답을 ODE 시스템 $ \frac{d\bm{f}_{\bm{\theta}}(t)}{dt} = \bm{F}(t, \bm{f}_{\bm{\theta}}(t), \bm{\theta}) $ 를 만족하는 다차원 함수 $ \bm{f}_{\bm{\theta}}(t) $ 로 모델링한다.
• 차수 $ m $ 과 $ k_n $ 개의 커프를 갖는 B-스플라인 기저 함수를 기반으로 한 무작위 시리즈 전개를 사용하여 회귀 함수 $ \bm{f}_{\bm{\theta}} $ 에 사전분포를 부여한다.
• 오차 분산 $ \sigma^2 $ 를 알 수 없다고 간주하고 계층적 사전분포 하에서 B-스플라인 전개 계수를 사후 계산을 통해 추정한다.
• 두 단계 베이지안 절차를 사용한다: 첫째, B-스플라인 회귀를 통해 비모수적으로 평균 함수를 추정한다; 둘째, 스플라인 피팅의 도함수와 ODE가 제안하는 도함수 사이의 불일치를 최소화하여 $ \bm{\theta} $ 를 추정한다.
• Bernstein-von Mises 정리를 적용하여 $ \bm{\theta} $ 의 사후 분포가 진짜 매개수 값으로 수렴하는 정규분포임을 보여준다.
• 총 변동 거리(total variation distance)를 사용하여 $ \bm{\theta} $ 의 사후 분포가 진짜 매개수 중심의 정규분포로 수렴하는 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 진짜 평균 함수가 모형 공간에 있지 않을 때, 베이지안 비모수적 접근이 ODE 모델에서 매개수 $ \bm{\theta} $ 에 대해 $ n^{-1/2} $ 수렴 속도를 달성할 수 있는가?
• RQ2 비록 회귀 함수의 추정 속도가 느리더라도 $ \bm{\theta} $ 의 사후 분포가 Bernstein-von Mises 정리를 만족하는가?
• RQ3 무작위 시리즈 사전을 사용하는 B-스플라인 기저 함수의 사용이 매개수 $ \bm{\theta} $ 의 사후 집중도와 점근적 정규성에 어떤 영향을 미치는가?
• RQ4 두 단계 베이지안 절차는 기존의 비선형 최소제곱 또는 반복적 ODE 해법에서 흔히 발생하는 초기 매개수 값에 대한 민감성을 피할 수 있는가?
• RQ5 모형 오특정(즉, 진짜 평균 함수가 모형 공간에 있지 않음)이 $ \bm{\theta} $ 의 사후 분포의 점근적 행동에 어떤 영향을 미치는가?

주요 결과

• 매개수 벡터 $ \bm{\theta} $ 의 사후 분포는 비록 회귀 함수의 사후 수렴 속도가 느리더라도 $ n^{-1/2} $ 수렴 속도를 달성한다.
• Bernstein-von Mises 정리는 $ \bm{\theta} $ 의 사후 분포에 대해 성립하여, 사후 분포가 점근적으로 정규분포이며 진짜 매개수 값으로 수렴함을 의미한다.
• 비모수적 평균 함수 추정 속도가 느리더라도 $ \bm{\theta} $ 의 사후 집중도가 떨어지지 않아, 두 단계 베이지안 접근의 강건성을 보여준다.
• 이 방법은 진짜 평균 함수가 모형 공간에 있어야 한다는 조건이 필요 없어 더 넓은 범위의 ODE 모델에 적용 가능하다.
• 시뮬레이션 연구는 이론적 결과를 확인하였으며, 양호한 유한표본 성능과 모형 오특정에 대한 강건성을 보여준다.
• 이 방법은 계산적으로 효율적이며, 기존의 비선형 최소제곱 방법과 달리 반복적 ODE 해법이나 초기 값 의존성의 필요가 없다.