[논문 리뷰] Block-Wise Pseudo-Marginal Metropolis-Hastings

Minh‐Ngoc Tran, Robert Kohn외 2명|arXiv (Cornell University)|2016. 03. 08.

Markov Chains and Monte Carlo Methods참고 문헌 31인용 수 15

한 줄 요약

이 논문은 랜덤 수를 블록으로 나누어 현재 및 제안된 파라미터에서의 가능도 추정치가 오직 하나의 블록만 다를 수 있도록 함으로써 베이지안 추론의 효율성을 향상시키는 블록별 가짜-가능도 مترو폴리스-هاس팅스 방법을 제안한다. 이 방법은 로그-가능도 추정치 간 상관관계를 높이고 이론적 분석을 단순화하며, 최적의 입자 수 선택과 함께 패널 데이터 및 서브샘플링 응용 분야에서 뚜렷한 속도 향상을 제공한다.

ABSTRACT

The pseudo-marginal Metropolis-Hastings approach is increasingly used for Bayesian inference in statistical models where the likelihood is analytically intractable but can be estimated unbiasedly, such as random effects models and state-space models, or for data subsampling in big data settings. In a seminal paper, Deligiannidis et al. (2015) show how the pseudo-marginal Metropolis-Hastings (PMMH) approach can be made much more e cient by correlating the underlying random numbers used to form the estimate of the likelihood at the current and proposed values of the unknown parameters. Their proposed approach greatly speeds up the standard PMMH algorithm, as it requires a much smaller number of particles to form the optimal likelihood estimate. We present a closely related alternative PMMH approach that divides the underlying random numbers mentioned above into blocks so that the likelihood estimates for the proposed and current values of the likelihood only di er by the random numbers in one block. Our approach is less general than that of Deligiannidis et al. (2015), but has the following advantages. First, it provides a more direct way to control the correlation between the logarithms of the estimates of the likelihood at the current and proposed values of the parameters. Second, the mathematical properties of the method are simplified and made more transparent compared to the treatment in Deligiannidis et al. (2015). Third, blocking is shown to be a natural way to carry out PMMH in, for example, panel data models and subsampling problems. We obtain theory and guidelines for selecting the optimal number of particles, and document large speed-ups in a panel data example and a subsampling problem.

연구 동기 및 목표

• 비가능도 가능도를 가진 기존의 가짜-가능도 MCMC 방법보다 더 투명하고 효율적인 대안을 개발하기 위해.
• 랜덤 수의 구조적 블록화를 통해 현재 및 제안된 파라미터 값에서의 로그-가능도 추정치 간 상관관계를 향상시키기 위해.
• 이전의 상관관계가 있는 랜덤 수 접근 방식에 비해 가짜-가능도 알고리즘의 이론적 분석을 단순화하기 위해.
• 블록별 PMMH에서 최적의 입자 수를 선택하기 위한 실용적 지침을 제공하기 위해.
• 패널 데이터 모델과 대규모 데이터 서브샘플링 문제에서 뚜렷한 계산 속도 향상을 입증하기 위해.

제안 방법

• 가능도 추정에 사용되는 i.i.d. 랜덤 수의 집합을 상호배타적인 블록으로 분할한다.
• 각 MCMC 반복 단계에서, 새로운 파라미터 값을 제안할 때는 오직 하나의 블록만 재표본 추출되고, 나머지는 고정된다.
• 이로 인해 현재 및 제안된 파라미터에 대한 가능도 추정치가 오직 한 블록에서만 다를 수 있으며, 이는 그들 간 상관관계를 높인다.
• 블록별로 전용 입자 필터 또는 무편향 추정기를 사용하여 가능도 추정치의 로그를 계산한다.
• 표준 متروبوليس-هاس팅س 수락 비율을 블록별 가능도 추정치와 함께 사용한다.
• 로그-가능도 추정치의 분산에서 유도된 이론적 지침에 기반해 최적의 입자 수를 선정한다.

실험 결과

연구 질문

• RQ1 현재 및 제안된 파라미터 값에서의 로그-가능도 추정치 간 상관관계를 통제 가능하고 분석이 용이한 방식으로 어떻게 높일 수 있는가?
• RQ2 랜덤 수를 블록화하면 가짜-가능도 MCMC 알고리즘의 혼합 속도를 높이고 분산을 줄일 수 있는가?
• RQ3 주어진 모형에서 블록별 PMMH에 적합한 최적의 입자 수는 얼마인가?
• RQ4 계산 효율성 측면에서 기존의 상관관계가 있는 랜덤 수 방법에 비해 블록별 접근 방식은 어떻게 비교되는가?
• RQ5 패널 데이터나 서브샘플링과 같은 어떤 설정에서 블록별 방법이 가장 큰 이점을 제공하는가?

주요 결과

• 표준 PMMH에 비해 블록별 접근 방식은 로그-가능도 추정치 간 상관관계를 더 높여 수락 비율의 분산을 감소시킨다.
• Deligiannidis 등 (2015)에 비해 이론적 분석이 단순화되어 명확한 수학적 성질을 가진다.
• 패널 데이터 모델에서는 큰 속도 향상을 이끌어내어 수렴에 필요한 입자 수를 줄일 수 있다.
• 서브샘플링 문제에서는 뚜렷이 적은 가능도 평가 수로도 유사한 정확도를 달성한다.
• 최적의 입자 수에 대한 지침이 도출되었으며 실무에서 효과적임을 입증하였다.
• 패널 데이터의 그룹별 영향 요소 등 모듈러하거나 구조화된 잠재 변수를 가진 모형에 자연스럽게 적합하다.