[논문 리뷰] A Corrected and More Efficient Suite of MCMC Samplers for the Multinomal Probit Model

Xiyun Jiao, David A. van Dyk|arXiv (Cornell University)|2015. 04. 29.

Markov Chains and Monte Carlo Methods참고 문헌 5인용 수 4

한 줄 요약

이 논문은 다항비트 모형에 널리 사용되는 MCMC 샘플러에서 심각한 오류를 수정한다. 특히 Imai와 van Dyk(2005a) 및 Burgette와 Nordheim(2012)의 알고리즘에서 발생하는 오류는 정상분포를 왜곡시키고 사후 추론의 타당성을 해칠 수 있다. 저자들은 적절한 재매개변수화와 제약 조건 강제화를 통해 수정된 샘플러를 제안하며, 시뮬레이션과 실제 데이터 분석을 통해 수정된 알고리즘이 계산 비용의 약간 증가에도 불구하고 정확한 사후 추정치와 향상된 혼합 효율성을 제공함을 보여준다.

ABSTRACT

The multinomial probit (MNP) model is a useful tool for describing discrete-choice data and there are a variety of methods for fitting the model. Among them, the algorithms provided by Imai and van Dyk (2005a), based on Marginal Data Augmentation, are widely used, because they are efficient in terms of convergence and allow the possibly improper prior distribution to be specified directly on identifiable parameters. Burgette and Nordheim (2012) modify a model and algorithm of Imai and van Dyk (2005a) to avoid an arbitrary choice that is often made to establish identifiability. There is an error in the algorithms of Imai and van Dyk (2005a), however, which affects both their algorithms and that of Burgette and Nordheim (2012). This error can alter the stationary distribution and the resulting fitted parameters as well as the efficiency of these algorithms. We propose a correction and use both a simulation study and a real-data analysis to illustrate the difference between the original and corrected algorithms, both in terms of their estimated posterior distributions and their convergence properties. In some cases, the effect on the stationary distribution can be substantial.

연구 동기 및 목표

• Imai와 van Dyk(2005a)의 MCMC 알고리즘에서 발생하는 두 가지 핵심 오류를 특정하고, 이들이 정상분포와 사후 추론에 미치는 영향을 수정한다.
• Imai와 van Dyk의 알고리즘을 기반으로 한 Burgette와 Nordheim(2012)의 수정된 알고리즘에도 동일한 오류가 존재하므로 이를 확장하여 수정한다.
• 이러한 오류가 사후 추정치, 수렴성, 유효 표본 크기(ESS)에 미치는 실질적 영향을 입증한다.
• 원래 알고리즘의 효율성을 유지하면서도 정확한 사후 샘플링을 보장하는 수정된 MCMC 샘플러를 제안한다.
• 오류가 있는 추론을 널리 사용하지 않도록 인기 있는 R 패키지 'MNP'를 업데이트하여 수정된 알고리즘을 통합한다.

제안 방법

• 모수의 잘못된 변환을 방지하기 위해 분산-공분산 행렬 샘플링 단계를 적절한 재매개변수화를 통해 재표현한다.
• Gibbs 샘플링 중에 분산-공분산 행렬이 양의 정부호이도록 제약 조건을 강제하여 원래 알고리즘의 소홀함을 수정한다.
• 수정된 샘플러가 정확한 사후 분포를 대상으로 삼도록 기각 샘플링 단계를 도입한다.
• 계산 효율성을 유지하면서도 유효한 사후 시뮬레이션을 보장하기 위해 경계 데이터 증강(MDA) 프레임워크를 사용한다.
• 혼합성과 정확도를 평가하기 위해 유효 표본 크기(ESS) per second와 Q-Q 플롯을 사용해 수정된 알고리즘과 원래 알고리즘을 비교한다.
• 수렴성과 성능을 검증하기 위해 시뮬레이션 연구와 마가린 구매 데이터 세트를 활용한 실세계 데이터 분석을 수행한다.

실험 결과

연구 질문

• RQ1 Imai와 van Dyk(2005a)의 MCMC 샘플러에서 발생하는 오류는 다항비트 모형의 정상분포와 사후 추론에 어떻게 영향을 미치는가?
• RQ2 Imai와 van Dyk의 알고리즘을 기반으로 한 Burgette와 Nordheim(2012) 알고리즘의 오류는 사후 추정치의 타당성에 얼마나 심각하게 영향을 미치는가?
• RQ3 수정된 알고리즘이 원래 알고리즘 대비 수렴성과 유효 표본 크기(ESS)에 어떻게 개선되는가?
• RQ4 수정에 따른 계산 비용은 얼마이며, 추가적인 계산에 비해 향상된 혼합 효율성은 타당한가?
• RQ5 실세계 데이터에서 수정된 샘플러는 원래 오류가 있는 알고리즘보다 어떻게 성능을 발휘하는가?

주요 결과

• Imai와 van Dyk(2005a) 및 Burgette와 Nordheim(2012)의 알고리즘 오류는 정상분포를 심각하게 왜곡시켜 편향된 사후 추정치와 잘못된 표준오차를 초래한다.
• 원래 알고리즘(1.1)은 Q-Q 플롯을 통해 목표 사후 분포에서 유래된 샘플을 생성하지 못함을 확인하였고, 반면 수정된 알고리즘(1.3)은 자동상관도와 수렴성 측면에서 훨씬 우수한 성능을 보였다.
• 원래 알고리즘(1.1) 대비 15%의 계산 시간 증가에도 불구하고 수정된 알고리즘(1.3)은 매 초당 더 높은 ESS를 달성하여 혼합 효율성이 향상됨을 입증하였다.
• 수정된 알고리즘(2.2 및 3.2)은 원래 알고리즘(2.1 및 3.1)과 유사한 성능를 보였지만, 오직 수정된 버전만이 유효한 사후 샘플을 생성하였다.
• 507건의 마가린 구매 데이터에 대한 실세계 데이터 분석 결과, 원래 알고리즘은 잘못된 사후 분포를 도출하는 반면, 수정된 알고리즘은 신뢰할 수 있고 잘 혼합된 체인을 생성함을 확인하였다.
• 저자들은 수정된 알고리즘이 계산 시간을 약 15% 정도만 증가시키지만, 훨씬 더 정확하고 효율적인 추론을 제공함을 확인하였다.