[논문 리뷰] A Class of Conjugate Priors for Multinomial Probit Models which Includes the Multivariate Normal One

Augusto Fasano, Daniele Durante|arXiv (Cornell University)|2020. 07. 14.

Statistical Methods and Bayesian Inference참고 문헌 50인용 수 13

한 줄 요약

이 논문은 다항 probit 모형에 대해 통합된 비대칭 정규(SUN) 분포가 콘jugate prior임을 입증하며, 이로 인해 폐쇄형 사후 추론과 확장 가능한 변분 베이즈 방법을 가능하게 한다. 주요 기여는 고차원 및 불균형 설정에서 특히 뛰어난 계산 효율성과 정확도를 보이는 처리 가능한 베이지안 프레임워크를 제공하는 것이다.

ABSTRACT

Multinomial probit models are routinely-implemented representations for learning how the class probabilities of categorical response data change with p observed predictors. Although several frequentist methods have been developed for estimation, inference and classification within such a class of models, Bayesian inference is still lagging behind. This is due to the apparent absence of a tractable class of conjugate priors, that may facilitate posterior inference on the multinomial probit coefficients. Such an issue has motivated increasing efforts toward the development of effective Markov chain Monte Carlo methods, but state-of-the-art solutions still face severe computational bottlenecks, especially in high dimensions. In this article, we show that the entire class of unified skew-normal (SUN) distributions is conjugate to several multinomial probit models. Leveraging this result and the SUN properties, we improve upon state-of-the-art solutions for posterior inference and classification both in terms of closed-form results for several functionals of interest, and also by developing novel computational methods relying either on independent and identically distributed samples from the exact posterior or on scalable and accurate variational approximations based on blocked partially-factorized representations. As illustrated in simulations and in a gastrointestinal lesions application, the magnitude of the improvements relative to current methods is particularly evident, in practice, when the focus is on high-dimensional studies.

연구 동기 및 목표

• 다항 probit 모형의 베이지안 추론에서 처리 가능한 콘jugate prior의 부재로 인해 효율적인 사후 계산이 저해되는 문제를 해결한다.
• 특히 고차원 및 불균형 데이터 시나리오에서 마르코프 체인 몬테 카를로(MCMC) 및 변분 베이즈 방법의 계산 병목 현상을 극복한다.
• 폐쇄형 사후 계산과 확장 가능한 추론을 지원하는 통합된 프레임워크를 개발하며, 이는 통합된 비대칭 정규(SUN) 분포를 콘jugate prior로 사용한다.
• 단변량 probit 모형에서의 이론적 결과를 다변량 다항 probit 설정으로 확장하여 보다 넓은 적용 가능성을 확보한다.
• 정확하고 효율적인 사후 추론 및 분류를 위해 정확한 샘플링과 차단된 부분적으로 인수분해된 변분 근사 방법을 구현한다.

제안 방법

• SUN 분포의 전체 클래스가 다항 probit 모형과 콘jugate임을 증명하기 위해, 사후 커널이 SUN 밀도와 일치함을 보여줌으로써 이를 입증한다.
• SUN 분포의 성질을 활용하여 주요 기능량, 즉 주변 가능도 및 예측 확률의 폐쇄형 표현식을 유도한다.
• SUN prior의 콘jugacy를 활용하여 정확한 사후 분포에서 i.i.d. 샘플링 방법을 개발한다.
• 고차원에서의 정확도와 수렴성을 향상시키기 위해 차단된 부분적으로 인수분해된 표현 기반의 확장 가능한 변분 베이즈 근사 방법을 설계한다.
• 우도와 사전분포의 구조를 활용하여 SUN 분포의 항등식을 통해 효율적인 계산에 적합한 형태로 공동 모델을 재구성한다.
• 표준 다항 probit 모형과 클래스별 영향을 고려한 확장 모형에 모두 이 결과를 적용하여 광범위한 모형 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 처리 가능한 콘jugate prior가 다항 probit 모형에 존재하는가? 이를 통해 폐쇄형 사후 추론이 가능해지는가?
• RQ2 통합된 비대칭 정규(SUN) 분포는 어떻게 고차원 다항 probit 모형의 베이지안 추론에서 계산 효율성을 향상시킬 수 있는가?
• RQ3 SUN 콘jugacy를 기반으로 한 i.i.d. 샘플링 및 변분 베이즈 방법은 기존의 MCMC 및 근사 기법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 희귀 클래스가 존재하는 불균형 데이터 설정에서도 제안된 프레임워크는 정확도와 확장 가능성을 유지하는가?
• RQ5 콘jugacy 결과는 클래스별 예측자 영향을 고려한 다항 probit 모형으로까지 확장 가능한가?

주요 결과

• 통합된 비대칭 정규(SUN) 분포가 다항 probit 모형(클래스별 영향이 포함된 경우 포함)과 콘jugate임이 입증되었으며, 이는 정확한 사후 계산을 가능하게 한다.
• 계수의 사후 분포가 SUN 분포임이 입증되어 주변 가능도 및 예측 확률에 대한 폐쇄형 표현식이 가능하다.
• 이 방법은 i.i.d. 샘플링을 통한 정확한 사후 샘플링과 차단된 부분적으로 인수분해된 표현을 사용한 확장 가능한 변분 베이즈 근사 모두를 지원한다.
• 위장병 병변 분류에 대한 시뮬레이션 및 실데이터 분석 결과, 특히 고차원 설정에서 계산 속도와 정확도가 크게 향상됨을 입증했다.
• 클래스 빈도가 불균형한 경우에도 최첨단 MCMC 및 변분 방법보다 수렴 속도와 예측 성능 면에서 프레임워크가 뛰어나게 성능을 발휘한다.
• 주변 가능도는 다변량 정규 누적분포함수의 비율 형태로 폐쇄형으로 유도되었으며, 이는 모형 비교 및 선택에 유용하다.