[논문 리뷰] Penalized importance sampling for parameter estimation in stochastic differential equations

Libo Sun, Chihoon Lee외 1명|arXiv (Cornell University)|2013. 05. 19.

Statistical Methods and Inference인용 수 1

한 줄 요약

이 논문은 전이 밀도가 해석적으로 구할 수 없는 경우, 특히 부분적 또는 희박한 관찰 조건에서 확률적 미분 방정식의 모수를 추정하기 위해 페널티가 부여된 중요도 표본 추출 방법을 제안한다. 제안된 방법은 생태학적 및 전염병학적 설정에서 어려운 상황에서도 추정 정확도를 향상시키며, 만성 쇠약 증후군 모델링을 통해 이를 입증하였다.

ABSTRACT

We consider the problem of estimating parameters of stochastic differential equa-tions with discrete-time observations that are either completely or partially observed. The transition density between two observations is generally unknown. We propose a penalized importance sampling approach to approximate the transition density. Sim-ulation studies in three different models illustrate promising improvements of the new penalized importance sampling method. The new procedure is designed for the chal-lenging case when some state variables are unobserved and moreover, observed states are sparse over time, which commonly arises in ecological studies. We apply this new approach to two epidemics of chronic wasting disease in mule deer.

연구 동기 및 목표

• 전이 밀도가 해석적으로 구할 수 없는 경우 확률적 미분 방정식의 모수 추정 문제를 해결하기 위해.
• 부분적으로 관측되거나 희박하게 관측되는 상태 변수가 동반된 상황에서의 추정 정확도를 향상시키기 위해.
• 제한된 데이터를 가진 생태학적 및 전염병학적 응용에 적합한 강력한 방법을 개발하기 위해.
• 연속 시간 역학을 가지는 은닉 마르코프 모델에서 최대우도 기반 추론의 편향과 분산을 줄이기 위해.

제안 방법

• 방법은 SDE의 이산 관찰 간에 구할 수 없는 전이 밀도를 근사하기 위해 중요도 표본 추출을 활용한다.
• 중요도 표본 추출 가중치의 안정성과 분산을 줄이기 위해 페널티 항을 도입한다.
• 최적화 과정에서 스코어 함수에 페널티를 적용하여 수렴성과 강건성을 향상시킨다.
• 관측된 데이터에 맞게 조정된 적응형 제안 밀도를 사용하여 몬테카를로 표본 추출을 구현한다.
• 관측되지 않은 상태는 중요도 표본 추출을 통해 페널티 가중치를 적용하여 통합한다.
• quasi-Newton 방법을 사용하여 페널티 최우도를 최대화함으로써 알고리즘을 최적화한다.

실험 결과

연구 질문

• RQ1 관측되지 않은 상태와 희박한 관찰이 동반된 SDE에서 페널티가 부여된 중요도 표본 추출이 모수 추정을 향상시킬 수 있는가?
• RQ2 표준 중요도 표본 추출에 비해 페널티 접근법은 편향과 분산 측면에서 어떻게 비교되는가?
• RQ3 제한된 데이터를 가진 현실적인 생태학적 및 전염병학적 모델에서 이 방법의 성능은 어떠한가?
• RQ4 페널티 항의 포함이 SDE의 최우도 기반 추론에서 수렴성과 안정성을 향상시키는가?
• RQ5 이 방법은 만성 쇠약 증후군 유행병과 같은 실제 질병 역학에 효과적으로 적용될 수 있는가?

주요 결과

• 관측되지 않은 상태가 존재하는 상황에서 표준 중요도 표본 추출에 비해 페널티가 부여된 중요도 표본 추출 방법은 추정 편향을 크게 감소시킨다.
• 희박한 관찰 조건에서 모수 추정의 수렴성과 안정성이 향상됨을 보여준다.
• 시뮬레이션 연구 결과, 세 가지 다른 SDE 모델에서 일관된 모수 복원 향상이 관찰되었다.
• 희박한 데이터와 관측되지 않은 상태가 흔한 두 가지 실제 만성 쇠약 증후군 유행병에서 모수 추정에 성공적으로 적용되었다.
• 페널티 구성 요소는 중요도 가중치의 분산을 효과적으로 제어하여 더 신뢰할 수 있는 추론을 가능하게 한다.
• 측정의 희박성과 은닉 역학이 높은 상황에서 기존 방법들을 능가하는 성능을 보였다.