[논문 리뷰] On the Use of Cauchy Prior Distributions for Bayesian Logistic Regression

Joyee Ghosh, Yingbo Li외 1명|arXiv (Cornell University)|2015. 07. 26.

Statistical Methods and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 분리가 발생할 경우 베이지안 로지스틱 회귀에서 독립적인 코시 사전분포의 사용을 조사하며, 무거운 尾 꼬리로 인해 회귀 계수의 사후 평균이 존재하지 않을 수 있음을 증명한다. 게르만 등이 기본 사전분포로 코시 사전분포를 권장하고 있음에도 불구하고, 저자들은 완전한 분리 상황에서 사후 평균이 발산함을 보이며, 게비스 샘플링의 혼합 성능이 매우 열 劣하다는 것을 확인하여, 정규분포나 1보다 큰 자유도를 가진 t분포와 같은 더 가벼운 꼬리 분포를 선호할 것을 제안한다. 이는 안정적인 추론을 위한 바람직한 선택이다.

ABSTRACT

In logistic regression, separation occurs when a linear combination of the predictors can perfectly classify part or all of the observations in the sample, and as a result, finite maximum likelihood estimates of the regression coefficients do not exist. Gelman et al. (2008) recommended independent Cauchy distributions as default priors for the regression coefficients in logistic regression, even in the case of separation, and reported posterior modes in their analyses. As the mean does not exist for the Cauchy prior, a natural question is whether the posterior means of the regression coefficients exist under separation. We prove theorems that provide necessary and sufficient conditions for the existence of posterior means under independent Cauchy priors for the logit link and a general family of link functions, including the probit link. We also study the existence of posterior means under multivariate Cauchy priors. For full Bayesian inference, we develop a Gibbs sampler based on Polya-Gamma data augmentation to sample from the posterior distribution under independent Student-t priors including Cauchy priors, and provide a companion R package in the supplement. We demonstrate empirically that even when the posterior means of the regression coefficients exist under separation, the magnitude of the posterior samples for Cauchy priors may be unusually large, and the corresponding Gibbs sampler shows extremely slow mixing. While alternative algorithms such as the No-U-Turn Sampler in Stan can greatly improve mixing, in order to resolve the issue of extremely heavy tailed posteriors for Cauchy priors under separation, one would need to consider lighter tailed priors such as normal priors or Student-t priors with degrees of freedom larger than one.

연구 동기 및 목표

• 분리가 발생할 경우 독립적인 코시 사전분포를 사용하는 베이지안 로지스틱 회귀에서 사후 평균의 이론적 성질을 조사하는 것.
• 특히 코시 사전분포 하에서 분리가 존재할 경우 회귀 계수의 사후 평균이 존재하는지 여부를 규명하는 것.
• 분리된 데이터 설정에서 코시 사전분포 하에서 MCMC 샘플링(특히 게비스 샘플링)의 성능을 평가하는 것.
• 정규분포나 자유도가 1보다 큰 t분포와 같은 더 가벼운 꼬리 분포와 코시 사전분포의 행동을 비교하는 것.
• 분리 상황에서 불안정한 사후 추론을 피하기 위한 실용적인 사전분포 선택 지침을 제공하는 것.

제안 방법

• 독립적인 코시 사전분포 하에서 사후 평균의 존재성을 분석하기 위해 측도 이론적 추론과 변수변환 기법을 사용한 이론적 분석.
• 다변량 코시 사전분포 하에서 회귀 계수의 공동 사전밀도를 척도화된 방향 파rameterization로의 변환을 통해 유도하는 것.
• 스테이던트-t 사전분포(코시 포함) 하에서 사후분포로부터 게비스 샘플링을 가능하게 하기 위해 폴리아-게이밍 데이터 보정 기법을 적용하는 것.
• 적분된 피적을 유한하게 제한하기 위해 분리 원뿔 내에 컴act한 직육면체 부분집합을 구성하고, 사후 모멘트의 발산을 증명하는 것.
• 부등식과 점근적 분석을 사용하여, 완전한 분리 상황에서 사후 평균을 위한 적분이 무한대로 발산함을 보이는 것.
• 스터디의 보조 자료에 포함된 R 패키지에서 스튜던트-t 사전분포(코시 포함) 하에서 사후 샘플링을 위한 게비스 샘플러를 구현한 것.

실험 결과

연구 질문

• RQ1 로지스틱 회귀에서 분리가 발생할 경우 독립적인 코시 사전분포를 사용할 때 회귀 계수의 사후 평균이 존재하는 조건은 무엇인가?
• RQ2 분리가 발생할 경우 어떤 계수의 사후 평균이 무한대 또는 음의 무한대로 발산하는가?
• RQ3 분리된 데이터 설정에서 코시 사전분포와 더 가벼운 꼬리 분포를 사용할 경우 게비스 샘플링의 성능는 어떻게 비교되는가?
• RQ4 폴리아-게이밍 데이터 보정 기법을 사용하면 코시 사전분포 하에서 로지스틱 회귀 모형에서 효율적인 사후 샘플링이 가능한가?
• RQ5 분리가 존재할 경우 코시 사전분포를 사용할 경우 전면 베이지안 추론에 어떤 영향을 미치는가?

주요 결과

• 완전한 분리가 발생할 경우 독립적인 코시 사전분포 하에서 회귀 계수의 사후 평균은 존재하지 않는다.
• 분리 방향과 관련된 계수의 사후 평균은 분리 원뿔 내의 컴 pact한 부분집합에서 적분의 발산을 통해 무한대로 발산함을 입증하였다.
• 사후 평균이 존재하더라도, 코시 사전분포 하에서 사후 샘플의 크기는 중량 꼬리로 인해 비정상적으로 크게 나타날 수 있다.
• 코시 사전분포 하에서 게비스 샘플링은 매우 느린 혼합 성능를 보이며, 분리된 데이터에서 마코프 체인 수렴이 열 劣함을 시사한다.
• 스탄에서 사용하는 No-U-Turn 샘플러와 같은 보다 나은 알고리즘은 혼합 성능을 향상시킬 수 있지만, 중량 꼬리 사후분포의 근본적 문제를 해결하지 못한다.
• 정규분포나 자유도가 1을 초과하는 스튜던트-t 분포와 같은 더 가벼운 꼬리 분포를 권장하여, 분리 상황에서의 사후 추론 불안정성을 피할 수 있다.