[논문 리뷰] Hypoelliptic diffusions: discretization, filtering and inference from complete and partial observations

Susanne Ditlevsen, Adeline Samson|arXiv (Cornell University)|2017. 07. 13.

Complex Systems and Time Series Analysis참고 문헌 37인용 수 7

한 줄 요약

이 논문은 다양한 시간 스케일에서 작용하는 비퇴도성 소음이 특징인 부분 관측된 하이퍼엘리프틱 확산 과정에서의 매개변수 추정을 위한 고차수 이산화 방법을 제안한다. 이 근사 방법을 확률적 추정 기대 최대화(Stochastic Approximation Expectation Maximization, SAEM) 알고리즘에 통합함으로써, 부분 관측 조건에서도 일致하고 점근적으로 정규분포를 따르는 추론이 가능해지며, 하모닉 옵저버, 피츠휴-나구모, 시냅스 억제/흥진 모델을 포함한 시뮬레이션 모델에서 기존의 옐러 스킴과 대비 추정기법보다 뛰어난 성능을 보였다.

ABSTRACT

The statistical problem of parameter estimation in partially observed hypoelliptic diffusion processes is naturally occurring in many applications. However, due to the noise structure, where the noise components of the different coordinates of the multi-dimensional process operate on different time scales, standard inference tools are ill conditioned. In this paper, we propose to use a higher order scheme to approximate the likelihood, such that the different time scales are appropriately accounted for. We show consistency and asymptotic normality with non-typical convergence rates. When only partial observations are available, we embed the approximation into a filtering algorithm for the unobserved coordinates, and use this as a building block in a Stochastic Approximation Expectation Maximization algorithm. We illustrate on simulated data from three models; the Harmonic Oscillator, the FitzHugh-Nagumo model used to model the membrane potential evolution in neuroscience, and the Synaptic Inhibition and Excitation model used for determination of neuronal synaptic input.

연구 동기 및 목표

• 다양한 시간 스케일에서 작용하는 비퇴도성 소음으로 인해 기존 추론 도구가 불안정해지는 하이퍼엘리프틱 확산 모델 문제를 해결하기 위해.
• 이탈리안 확률 미분 방정식의 다중 시간 스케일 역학을 적절히 반영하는 고차수 이산화 스킴을 개발하기 위해.
• 특히 관측 가능한 변수의 일부만 제공되는 현실적인 상황에서도 신뢰할 수 있는 매개변수 추정을 가능하게 하기 위해.
• 고차수 근사 방법을 확률적 추정 기대 최대화(SAEM) 알고리즘에 통합하여 부분 관측 조건 하에서 효율적인 추론을 수행하기 위해.
• 세 가지 생물학적 및 물리적으로 관련된 모델—하모닉 옵저버, 피츠휴-나구모, 시냅스 억제/흥진 모델—에서 방법을 검증하기 위해.

제안 방법

• 하이퍼엘리프틱 SDE의 전이 밀도를 보다 정확하게 근사하기 위해, 옐러-마루야마 스킴보다 더 높은 차수의 수치 스킴을 개발하였다.
• 관측 가능한 성분만 존재할 경우, 미관측 성분을 추정하기 위해 필터링 프레임워크에 likelihood 근사를 통합하였다.
• 최대우도 추론을 수행하기 위해 확률적 추정 기대 최대화(SAEM) 알고리즘을 사용하였으며, 상태 추정에는 입자 기반 필터링(SMC)을 활용하였다.
• 위치 또는 막 전위는 결정론적으로 진화하고, 속도 또는 입력 성분에만 소음이 작용하는 하이퍼엘리프틱 SDE의 구조를 활용하였다.
• 소음 또는 드리프트에 알려지지 않은 매개변수가 존재하는 경우, SAEM 알고리즘은 확률적 근사와 몬테카를로 샘플링을 통해 반복적으로 추정치를 개선한다.
• 세 가지 모델에서 시뮬레이션 데이터를 대상으로 방법의 성능을 검증하였으며, 옐러 기반 대비 추정기법 및 기존 필터링 방법과의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 비퇴도성 소음과 다중 시간 스케일 역학을 갖는 하이퍼엘리프틱 확산 과정에서 고차수 이산화 스킴이 likelihood 근사에 개선을 가져올 수 있는가?
• RQ2 기존의 대비 기반 또는 옐러 기반 방법과 비교해 볼 때, 부분 관측 조건에서 제안된 방법의 매개변수 추정 성능은 어떠한가?
• RQ3 입자 필터링을 통한 SAEM 알고리즘이 알려지지 않은 매개변수를 갖는 하이퍼엘리프틱 모델에서 일관되고 점근적으로 정규분포를 따르는 추론을 가능하게 하는가?
• RQ4 하이퍼엘리프틱 구조 하에서 추정기의 수렴 속도는 무엇이며, 표준 타원형 경우와 어떻게 다를까?
• RQ5 부분 관측 조건에서 시냅스 전도도 및 소음 강도와 같은 매개변수를 신뢰성 있게 추정할 수 있는가?

주요 결과

• 완전 관측 조건에서 제안된 고차수 대비 추정기법은 옐러 기반 대비 추정기법보다 낮은 편향과 분산을 보이며, 하모닉 옵저버 모델에서 γ 및 α와 같은 매개변수에 특히 뛰어난 성능을 보였다.
• 부분 관측 조건에서 SAEM 알고리즘과 입자 필터링을 사용한 결과 일관된 추정치를 확보하였으며, γ의 평균 추정치는 1.523(표준편차 0.130), α는 0.822(표준편차 0.110)로 진짜 값인 1.5와 0.8에 가까웠다.
• ε를 추정할 경우, SAEM 방법은 평균 추정치 0.105(표준편차 0.006)를 도출하여, 다른 방법이 실패하는 경우에도 소음 매개변수를 처리할 수 있음을 입증하였다.
• 시냅스 억제/흥진 모델의 경우, SAEM 알고리즘은 τ_E를 0.486(표준편차 0.031), τ_I를 0.990(표준편차 0.180)로 추정하였으며, 특히 억제성 매개변수(예: g_I는 8.414, 표준편차 0.250)의 경우 더 높은 불확실성을 보였다.
• 비표준 수렴 속도를 갖는 점근적 정규분포를 확보하여, 하이퍼엘리프틱 구조 하에서 이론적 일관성이 확인되었다.
• 소음 강도 ε가 알려지지 않은 경우, SAEM 알고리즘이 유일하게 이를 추정할 수 있었으며, 이는 복잡한 부분 관측 시스템에서의 강건성을 입증하였다.