[논문 리뷰] Conjugate Bayes for probit regression via unified skew-normals

Daniele Durante|arXiv (Cornell University)|2018. 02. 26.

Bayesian Methods and Mixture Models인용 수 8

한 줄 요약

이 논문은 가우시안 사전분포를 가진 베이지안 프로빗 회귀에서 사후분포가 통합된 비대칭 정규분포임을 규명함으로써 정확한 해석적 계산과 효율적인 샘플링을 가능하게 한다. 이 공액성 특성을 활용함으로써 고차원 및 불균형 데이터 설정에서 사후 추론을 향상시켜 MCMC 및 근사 방법보다 더 정확한 대안을 제공하면서도 계산의 용이성과 사전분포 설정의 유연성을 유지한다.

ABSTRACT

Regression models for dichotomous data are ubiquitous in statistics. Besides being fundamental for inference on binary responses, such representations additionally provide an essential building-block in more complex formulations, such as predictor-dependent mixture models, deep neural networks, graphical models, and others. Within a Bayesian framework, inference typically proceeds by updating the Gaussian priors for the regression coefficients with the likelihood induced by a probit or logit model for the observed binary response data. The apparent absence of conjugacy in this Bayesian updating has motivated a wide variety of computational methods, including Markov Chain Monte Carlo (MCMC) routines and algorithms for approximating the posterior distribution. Although such methods are routinely implemented, data augmentation MCMC faces convergence and mixing issues in imbalanced data settings and in hierarchical models, whereas approximate routines fail to capture the skewness and the heavy tails typically observed in the posterior distribution of the coefficients. This article shows that the posterior for the coefficients of a probit model is indeed analytically available---under Gaussian priors---and coincides with a unified skew-normal. Due to this, it is possible to study explicitly the posterior distribution along with the predictive probability mass function of the responses, and to derive a novel and more efficient sampler for high-dimensional inference. A conjugate class of priors for Bayesian probit regression, improving flexibility in prior specification without affecting tractability in posterior inference, is also provided.

연구 동기 및 목표

• 베이지안 프로빗 회귀에서의 비공액성 문제에 장기간 대비해 온 도전 과제를 해결하고자 하며, 이는 계산 비용이 많이 들거나 정확도가 떨어지는 근사 방법에 의존하게 되는 원인이었다.
• 가우시안 사전분포 하에서 프로빗 회귀 계수의 해석적 계산이 가능한 사후분포를 제공하고자 하며, MCMC 및 변분 추론의 한계를 극복하고자 한다.
• 표준 MCMC 방법이 혼합성과 수렴성에 문제가 생기는 고차원 및 불균형 데이터 설정에서의 사후 추론을 향상시키고자 한다.
• 계산의 용이성을 포기하지 않은 채로 프로빗 회귀의 공액 사전분포 클래스를 확장하고자 하며, 사전분포 설정의 유연성을 높이고자 한다.
• 비대칭 정규 구조를 활용한 새로운 효율적인 MCMC 샘플러를 도출하여 샘플링 효율성을 향상시키고자 한다.

제안 방법

• 논문은 가우시안 사전분포 하에서 프로빗 회귀의 회귀계수 사후분포가 통합된 비대칭 정규분포를 따른다는 점을 규명한다.
• 이 결과는 다변량 정규분포의 누적분포함수를 활용한 새로운 표현을 통해 도출되며, 이는 가능도와 사전분포를 통합된 비대칭 정규 분포 가족을 통해 연결한다.
• 이 방법은 사후분포 및 예측분포의 정확한 계산을 가능하게 하며, 이에 포함된 이진 반응의 확률질량함수도 포함한다.
• 비대칭 정규 구조를 기반으로 한 새로운 MCMC 샘플러가 개발되었으며, 이는 고차원 및 계층적 모델에서 혼합성과 수렴성을 향상시킨다.
• 이 접근법은 해석적 계산 용이성을 유지하면서도 더 큰 유연성을 제공하는 공액 사전분포 클래스로 일반화된다.
• 이론적 유도는 통합된 비대칭 정규분포의 성질과 절단 및 접힌 정규변수와의 연결 고리에 기반한다.

실험 결과

연구 질문

• RQ1 가우시안 사전분포 하에서 베이지안 프로빗 회귀의 사후분포는 닫힌 형태로 표현될 수 있는가?
• RQ2 통합된 비대칭 정규 분포 가족은 프로빗 모델에서 정확한 사후분포 계산을 가능하게 하는 공액 구조를 제공하는가?
• RQ3 이 공액성은 고차원 또는 불균형 데이터 설정에서 더 효율적이고 정확한 MCMC 샘플링을 이끌 수 있는가?
• RQ4 해석적 계산 용이성을 잃지 않고도 프로빗 회귀의 공액 사전분포 클래스를 확장할 수 있는가?
• RQ5 비대칭 정규 사후분포는 표준 MCMC 및 변분 추론과 비교해 사후분포의 비대칭성과 무거운 尾部를 더 정확히 포착하는가?

주요 결과

• 가우시안 사전분포를 가진 베이지안 프로빗 회귀에서 회귀계수의 사후분포는 해석적으로 계산 가능하며 통합된 비대칭 정규분포를 따른다.
• 이 공액성 덕분에 이진 반응의 사후분포 및 예측 확률질량함수를 정확하게 계산할 수 있다.
• 혼합성과 수렴성이 향상된 더 효율적인 MCMC 샘플러를 제공하며, 특히 고차원 및 불균형 데이터 설정에서 유의미한 성능 향상을 이룬다.
• 근사 방법이 이 기능을 잘 모델링하지 못하는 비대칭성과 무거운 꼬리 특성을 더 정확히 포착한다.
• 해석적 계산 용이성을 유지하면서도 더 큰 사전분포 설정의 유연성을 제공하는 공액 사전분포 클래스를 도입하였다.
• 통합된 비대칭 정규 표현은 정확한 베이지안 추론을 위한 이론적 기반을 제공하며, 오랫동안 지속된 계산적 과제를 해결한다.