[논문 리뷰] Bayesian inference for logistic models using Polya-Gamma latent variables

Nicholas G. Polson, James G. Scott외 1명|arXiv (Cornell University)|2012. 05. 02.

Statistical Methods and Bayesian Inference참고 문헌 31인용 수 10

한 줄 요약

이 논문은 Pólya-Gamma 잠재 변수를 사용하여 베이지안 로지스틱 회귀에 대한 새로운 데이터 증강 방법을 제안하며, 메트로폴리스-해스팅스 또는 수치 적분 없이 정확한 길버트 샘플링을 가능하게 한다. 이 방법은 이분형 우도를 새로운 Pólya-Gamma 분포의 집합을 통해 조건부 정규형으로 변환함으로써 계층적 모형 및 공간 모형을 포함한 다양한 모형에서 뛰어난 계산 효율성과 사용 편의성을 달성한다.

ABSTRACT

We propose a new data-augmentation strategy for fully Bayesian inference in models with binomial likelihoods. The approach appeals to a new class of Polya-Gamma distributions, which are constructed in detail. A variety of examples are presented to show the versatility of the method, including logistic regression, negative binomial regression, nonlinear mixed-effects models, and spatial models for count data. In each case, our data-augmentation strategy leads to simple, effective methods for posterior inference that: (1) circumvent the need for analytic approximations, numerical integration, or Metropolis-Hastings; and (2) outperform other known data-augmentation strategies, both in ease of use and in computational efficiency. All methods, including an efficient sampler for the Polya-Gamma distribution, are implemented in the R package BayesLogit. In the technical supplement appended to the end of the paper, we provide further details regarding the generation of Polya-Gamma random variables; the empirical benchmarks reported in the main manuscript; and the extension of the basic data-augmentation framework to contingency tables and multinomial outcomes.

연구 동기 및 목표

• 이분형 우도의 비가역성으로 인해 오랫동안 해결되지 않은 로지스틱 회귀에서의 계산 효율적인 베이지안 추론 문제를 해결하기 위해.
• 해석적 근사, 수치 적분, 또는 메트로폴리스-해스팅스 단계를 피하는 단순하고 정확한 데이터 증강 기법을 개발하기 위해.
• 로지스틱 회귀를 넘어 이항, 부정이항, 다항 우도를 가진 모형으로 이 방법을 확장하기 위해.
• 복잡한 계층 모형에서 사용할 수 있도록 빠르고 자동화되고 확장 가능한 Pólya-Gamma 변량 샘플러를 제공하기 위해.
• 실제 및 시뮬레이션 데이터를 포함한 다양한 사례에서 이 방법의 계산 효율성과 효과적 표본 크기에서의 우수성을 입증하기 위해.

제안 방법

• b>0 및 c∈ℝ에 대해 PG(b,c)로 정의되는 무한 개의 독립적인 감마 랜덤 변수로 구성된 새로운 Pólya-Gamma 분포의 집합을 도입한다.
• 기본 적분 항등식을 확립한다: 이분형 우도는 Pólya-Gamma 분포를 가진 정밀도 매개변수 ω에 대한 정규 분포의 스케일 믹스처로 표현될 수 있다.
• 선형 예측자 ψ가 주어졌을 때 ω의 조건부 사후 분포가 PG(b, ψ)임을 유도하며, 이는 콘jugate 업데이트를 허용하는 길버트 샘플링 체계를 가능하게 한다.
• Devroye(1986)의 교호 급수 방법을 사용하여 PG(b,c)에 대한 수용/기각 샘플러를 개발하며, PG(1,c)의 경우 균일한 수용 확률 상한이 0.99919이다.
• R 패키지 BayesLogit에 이 방법을 구현하여 로지스틱, 부정이항, 비선형 혼합효과 및 공간 모형에서의 효율적 사후 샘플링을 지원한다.
• Pólya-Gamma 표현을 사용하여 회귀 계수의 전체 조건부 정규 업데이트를 가능하게 하며, ω는 보조 잠재 변수로 간주한다.

실험 결과

연구 질문

• RQ1 메트로폴리스-해스팅스나 수치 적분을 피하는 단순하고 정확한 데이터 증강 기법을 베이지안 로지스틱 회귀에 적용할 수 있는가?
• RQ2 계층적 모형 및 복잡한 모형에서 Pólya-Gamma 표현이 기존 방법보다 더 효율적인 사후 샘플링을 이끌어내는가?
• RQ3 Pólya-Gamma 프레임워크를 과분산된 카운트 모형, 예를 들어 부정이항 회귀 모형으로 확장할 수 있는가?
• RQ4 Pólya-Gamma 샘플러의 계산 성능가 장기 독립 메트로폴리스-해스팅스 및 기타 데이터 증강 기법과 비교해 볼 때 어떻게 되는가?
• RQ5 Pólya-Gamma 방법은 대규모 또는 GPU 가속 환경에서 효율적으로 병렬 처리될 수 있는가?

주요 결과

• 공간 모형 및 계층 모형에서 Pólya-Gamma 방법은 반복당 높은 계산 비용에도 불구하고, 경쟁 방법 대비 3배에서 5배의 효과적 표본 크기 향상을 달성한다.
• 풍부한 데이터를 가진 단순한 로지스틱 회귀에서는 Pólya-Gamma 방법이 잘 튜닝된 독립 메트로폴리스-해스팅스 샘플러와 거의 동일한 효율성을 보인다.
• Pólya-Gamma 길버트 샘플러는 균일한 에르고딕성을 보이며, 모든 테스트 시나리오에서 안정적이고 빠른 수렴을 보장한다.
• PG(1,c)에 대한 수용/기각 샘플러는 99.919%의 수용률을 달성하여 매우 효율적이며, 복잡한 모형에서 블랙박스 사용에 적합하다.
• 관측치당 많은 카운트를 포함한 부정이항 회귀에서는 Pólya-Gamma 방법이 가장 높은 효과적 표본 크기를 유지하지만, PG(1,c)의 합으로 구성되는 방식으로 인해 효과적 샘플링 속도는 감소한다.
• 이 방법은 이전에 확장 가능한 정확한 샘플러의 부재로 인해 구현이 어려웠던 이항 우도를 가진 복잡한 계층 모형에서 정확한 베이지안 추론을 가능하게 한다.