[논문 리뷰] Efficient Data Augmentation in Dynamic Models for Binary and Count Data

Jesse Windle, Carlos M. Carvalho외 2명|arXiv (Cornell University)|2013. 08. 04.

Statistical Methods and Bayesian Inference참고 문헌 19인용 수 10

한 줄 요약

이 논문은 이진 및 카운트 결과를 갖는 동적 일반화선형모형에 대해 효율적인 Pólya-Gamma 데이터 보정 기법을 제안하며, 공액 조건부 갱신을 통해 빠른 사후분포 시뮬레이션을 가능하게 한다. 특히 소수의 카운트나 적은 시행 수가 있는 경우, 더 높은 유효 표본 크기와 더 나은 MCMC 혼합 성능을 달성함으로써 경쟁 기법들을 능가한다.

ABSTRACT

Dynamic linear models with Gaussian observations and Gaussian states lead to closed-form formulas for posterior simulation. However, these closed-form formulas break down when the response or state evolution ceases to be Gaussian. Dynamic, generalized linear models exemplify a class of models for which this is the case, and include, amongst other models, dynamic binomial logistic regression and dynamic negative binomial regression. Finding and appraising posterior simulation techniques for these models is important since modeling temporally correlated categories or counts is useful in a variety of disciplines, including ecology, economics, epidemiology, medicine, and neuroscience. In this paper, we present one such technique, Pólya-Gamma data augmentation, and compare it against two competing methods. We find that the Pólya-Gamma approach works well for dynamic logistic regression and for dynamic negative binomial regression when the count sizes are small. Supplementary files are provided for replicating the benchmarks.

연구 동기 및 목표

• 이진 또는 카운트 데이터와 같은 비정규 응답을 갖는 동적 모형에서의 베이지안 추론의 계산적 과제를 해결하기 위해.
• 조정 파rameter나 분석적 근사 없이도 완전 자동화되고 효율적인 사후분포 시뮬레이션 방법을 개발하기 위해.
• 기존의 MCMC 기법들과 비교하여 Pólya-Gamma 데이터 보정 기법이 동적 로지스틱 회귀 및 음이항 회귀에서 어떻게 작용하는지 평가하기 위해.
• 시간적 상관관계 수준, 시행 수, 카운트 크기의 변화에 따라 성능을 평가하기 위해.
• epidemiology, ecology, neuroscience 등 분야의 연구자들이 사용할 수 있도록 확장 가능하고 재사용 가능한 구현을 제공하기 위해.

제안 방법

• 비공액 우도를 조건부 공액 형태로 변환하기 위해 Pólya-Gamma 분포를 갖는 잠재 변수를 활용하여 데이터 보정 체계를 구축한다.
• 우도 전개에서 보조 변수를 PG(b, ψ) 분포로 표현함으로써 닫힌 형태의 조건부 사후분포를 가능하게 한다.
• 상태 벡터 βt가 가우시안 랜덤 워크 또는 AR(1) 과정으로 진화하는 동적 모형에 적용한다.
• Pólya-Gamma 보정에 의해 유도된 조건부 공액성에 기반하여, 차단 업데이트를 활용한 게브스 샘플링을 통해 사후 추론을 수행한다.
• 특히 작은 b(예: 적은 시행 수 또는 카운트)에 최적화된 Pólya-Gamma 변량의 효율적 샘플링 알고리즘을 구현한다.
• 고성능 MCMC 샘플링을 위해 C 기반의 구현을 사용하여 유효 표본 크기와 런타임의 정확한 벤치마킹을 가능하게 한다.

실험 결과

연구 질문

• RQ1 동적 이항 로지스틱 회귀에서 Pólya-Gamma 데이터 보정 기법은 기존 MCMC 기법과 비교해 유효 표본 크기와 계산 시간 측면에서 어떻게 성능을 내는가?
• RQ2 동적 음이항 회귀에서 시행 수나 평균 카운트 크기가 증가함에 따라 Pólya-Gamma 보정의 성능은 떨어지는가?
• RQ3 높은 시간적 상관관계와 고차원적 공변량이 있는 조건에서 이 방법은 어떻게 스케일링되는가?
• RQ4 Pólya-Gamma 방법은 메트로폴리스-해스팅스 또는 가우시안 혼합 모델 접근법보다 더 나은 혼합 성능과 수렴 특성을 달성할 수 있는가?
• RQ5 효율적인 Pólya-Gamma 샘플링은 대규모 동적 이산 데이터 모형에서 전체 MCMC 효율성에 어떤 영향을 미치는가?

주요 결과

• 동적 이항 로지스틱 회귀에서 시행 수가 1일 경우 Pólya-Gamma 방법은 중앙값 유효 표본 크기 비율(ESR) 1.30을 달성하여 이산형 정규 혼합 모델(dRUM) 방법을 능가한다.
• 20회의 시행이 있는 동적 이항 로지스틱 회귀에서 상관관계가 높을 경우 Pólya-Gamma 방법은 ESR 0.98를 유지하여 큰 시행 수에서도 강력한 성능을 보인다.
• 평균 카운트가 10인 동적 음이항 회귀에서, Pólya-Gamma 방법은 공변량 상관관계가 낮을 경우 ESR 1.86을 달성하여 Frühwirth-Schnatter 등(2009)의 방법을 크게 능가한다.
• 평균 카운트가 100으로 증가하면 ESR는 0.76로 감소하여, 더 큰 카운트에서는 Pólya-Gamma 샘플링 속도 저하로 인해 성능이 떨어지는 것으로 나타났다.
• Migon 등(2013)의 메트로폴리스-해스팅스 방법은 전반적으로 가장 열 劣한 성능을 보였으며, ESR가 0.8 이하였는데, 이는 정방향 필터링 중 비선형 해법이 비용이 많이 들기 때문이다.
• Pólya-Gamma 방법은 다른 방법들보다 일관되게 더 높은 유효 표본 크기를 확보하여, 특히 소수의 카운트가 있는 영역에서 더 효율적인 반복 성능을 보이고 있음을 시사한다.