[논문 리뷰] Model comparison with missing data using MCMC and importance sampling

Panayiota Touloupou, Naif Alzahrani외 3명|arXiv (Cornell University)|2015. 12. 15.

Bayesian Methods and Mixture Models참고 문헌 24인용 수 3

한 줄 요약

이 논문은 베이지안 모델 비교에서 경계 우도를 추정하기 위한 계산적으로 효율적인 방법을 제안한다. 하이브리드 MCMC-중요도 샘플링 접근법을 사용하여, MCMC 샘플과 사후분포의 파라미터적 근사에 기반한 중요도 샘플링 추정기의 조합을 통해, 전염병 및 시계열 데이터에서 기존 기법들—치브의 방법, 파워 사후분포, 조화 평균 추정기—를 능가한다. 이는 구조적으로 다를 수 있는 비포함 모델(non-nested models)에 대해서도 안정적인 모델 선택을 가능하게 한다. 특히 역전이 없는 MCMC가 실패하는 경우에도 유용하다.

ABSTRACT

Selecting between competing statistical models is a challenging problem especially when the competing models are non-nested. In this paper we offer a simple solution by devising an algorithm which combines MCMC and importance sampling to obtain computationally efficient estimates of the marginal likelihood which can then be used to compare the models. The algorithm is successfully applied to longitudinal epidemic and time series data sets and shown to outperform existing methods for computing the marginal likelihood.

연구 동기 및 목표

• 비포함 모델이며 역전이 MCMC가 불가능한 상황에서 베이지안 통계에서의 모델 비교 과제를 해결하기 위해.
• 해석적 계산이 불가능한 경우에도 계산적으로 효율적이고 강건한 경계 우도 추정 방법을 개발하기 위해.
• 결측 또는 완전하지 않은 관측이 있는 복잡한 종단적 및 시계열 데이터에 대해 정확한 베이즈 요인 추정을 가능하게 하기 위해.
• MCMC, 사후분포 근사, 중요도 샘플링을 통합한 실용적이고 자동화된 알고리즘을 제공하기 위해.

제안 방법

• 이 방법은 모델의 매개변수 공간에서 사후분포 샘플을 생성하기 위해 MCMC를 사용하며, 진짜 사후분포를 파라미터적 밀도 q(θ)로 근사한다.
• q(θ)에서 추출한 샘플을 기반으로 중요도 샘플링 추정기를 구성하며, π(θ)/q(θ)의 비율에서 유도된 가중치를 사용해 경계 우도 π(x)를 추정한다.
• 핵심 추정기는 ˆPq = (1/N) Σ π(x|θi) π(θi)/q(θi)로 주어지며, θi는 q(θ)에서 추출된 것으로, π(x)의 비편향 추정을 보장한다.
• 이 방법은 시계열 및 종단적 데이터에 특히 효과적이며, 해석적 형태가 없을 경우 필터링 기법을 활용해 π(x|θ)를 계산한다.
• 중요도 샘플링 평가가 상호 독립이므로 알고리즘이 병렬화 가능하여 확장 가능한 계산이 가능하다.
• 모델 간의 구조적 차이가 있을 경우에도 역전이 없는 MCMC가 필요 없도록, 사후분포를 근사하는 일관된 제안 분포 q(θ)를 사용한다.

실험 결과

연구 질문

• RQ1 결측 데이터와 비포함 모델이 존재하는 상황에서 하이브리드 MCMC-중요도 샘플링 접근법이 기존 기법보다 더 정확하고 효율적인 경계 우도 추정을 제공할 수 있는가?
• RQ2 이러한 방법이 시계열 및 전염병 데이터에서 치브의 방법, 파워 사후분포, 조화 평균 추정기와 비교해 성능가능성은 어떠한가?
• RQ3 서로 다른 모델 간의 구조적 차이로 인해 역전이 MCMC가 불가능한 경우, 이 방법이 모델 선택에 얼마나 효과적으로 기여할 수 있는가?
• RQ4 이 방법은 계절적 경향과 저빈도 시계열을 포함한 복잡한 의존 구조를 가진 실제 종단적 데이터에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 방법은 전염병 및 시계열 데이터 여러 개에서 치브의 방법, 파워 사후분포, 조화 평균 추정기보다 경계 우도 추정에서 뚜렷이 뛰어난 성능을 보였다.
• 폐렴균 전파 데이터의 경우, 계절 공변수를 포함한 모델의 로그 경계 우도가 -263.13이었으며, RJMCMC보다 더 날카운 베이즈 요인 추정을 제공했다.
• 절단 부상 데이터의 경우, 계절 공변수를 포함한 INAR(1) 모델의 로그 경계 우도는 -286.0이었고, 표준 INAR(1) 모델의 경우 -298.3이었으며, 이는 상당한 향상이었다.
• 계절 효과를 포함한 INAR(1) 모델과 표준 INAR(1) 모델 간의 베이즈 요인은 2984로, 계절 효과를 포함한 모델을 강하게 지지하는 결과를 보였다.
• 사후 추정치는 감염 강도 λ가 계절에 따라 유의미하게 변동하는 반면, 지속성 α는 비교적 안정되어 있음을 보여, 계절적 전파 패tern을 지지했다.
• 이 방법은 특히 모델 간의 구조적 차이로 인해 RJMCMC가 실패하는 경우에도 강건성과 계산 효율성을 입증했다.