[논문 리뷰] Bayesian analysis for a class of beta mixed models

Wagner Hugo Bonat, Paulo Justiniano Ribeiro외 1명|arXiv (Cornell University)|2014. 01. 13.

Statistical Methods and Bayesian Inference참고 문헌 35인용 수 9

한 줄 요약

이 논문은 비율, 비율 등 경계가 있는 연속형 반응 변수를 모델링하기 위해 통합 내재 라플라스 근사(INLA)를 사용하는 베타 혼합 모델을 위한 베이지안 추론 방법을 제안한다. 계산 효율성과 정확도를 입증하며, 계층적 자료 구조에서 광범위한 모델 비교 및 민감도 분석에 이상적이다. 결과적으로 INLA는 MCMC 및 우도 기반 방법과 유사한 결과를 도출하면서도 계산 시간을 크게 단축시켜, 효율적인 성능을 보인다.

ABSTRACT

Generalized linear mixed models (GLMM) encompass large class of statistical models, with a vast range of applications areas. GLMM extends the linear mixed models allowing for different types of response variable. Three most common data types are continuous, counts and binary and standard distributions for these types of response variables are Gaussian, Poisson and Binomial, respectively. Despite that flexibility, there are situations where the response variable is continuous, but bounded, such as rates, percentages, indexes and proportions. In such situations the usual GLMM's are not adequate because bounds are ignored and the beta distribution can be used. Likelihood and Bayesian inference for beta mixed models are not straightforward demanding a computational overhead. Recently, a new algorithm for Bayesian inference called INLA (Integrated Nested Laplace Approximation) was proposed.INLA allows computation of many Bayesian GLMMs in a reasonable amount time allowing extensive comparison among models. We explore Bayesian inference for beta mixed models by INLA. We discuss the choice of prior distributions, sensitivity analysis and model selection measures through a real data set. The results obtained from INLA are compared with those obtained by an MCMC algorithm and likelihood analysis. We analyze data from an study on a life quality index of industry workers collected according to a hierarchical sampling scheme. Results show that the INLA approach is suitable and faster to fit the proposed beta mixed models producing results similar to alternative algorithms and with easier handling of modeling alternatives. Sensitivity analysis, measures of goodness of fit and model choice are discussed.

연구 동기 및 목표

• 비율, 비율, 지수와 같은 경계가 있는 연속형 반응 변수에 적합한 베타 혼합 모델을 위한 베이지안 프레임워크를 개발하고 평가하는 것.
• 베타 혼합 모델에 대한 INLA의 성능을 기존의 MCMC 및 우도 기반 추론 방법과 비교하는 것.
• 분산 매개변수(φ) 및 난수 효과 정밀도(τ)의 사전 분포에 대한 민감도를 후행 분포에 대해 평가하는 것.
• 실제 계층적 데이터셋에서 최적의 모델을 식별하기 위해 모델 선택 기준—LML, DIC, CPO—을 평가하는 것.
• 실제 생활 질 지수 연구 데이터를 활용하여 베타 혼합 모델에서 사전 분포 설정 및 모델 진단에 대한 실용적 지침을 제공하는 것.

제안 방법

• MCMC의 계산 부담을 피하기 위해 빠른 베이지안 추론을 위한 통합 내재 라플라스 근사(INLA)를 사용한다.
• 회사와 주에 포함된 근로자와 같은 군집화를 반영하기 위해 가우시안 난수 효과를 포함한 계층적 모델링 구조를 적용한다.
• 베타 분포의 평균을 로짓 링크 함수를 사용한 선형 예측자로 모델링하고, 정밀도 매개변수(φ)가 예측 변수에 따라 변할 수 있도록 허용한다.
• 분산 매개변수(φ)와 난수 효과 정밀도(τ)에 대해 약한 정보를 갖는 감마 사전 분포를 사용하며, 민감도 분석에는 헬링거 거리(Hellinger divergence)를 활용한다.
• 모델 선택을 위해 로그-주변 가능도(LML), 적합도 정보 기준(DIC), 조건부 예측 순서(CPO)와 같은 모델 비교 기준을 사용한다.
• 결과의 일관성을 확보하기 위해 MCMC 및 우도 기반 추론 결과와 비교 검증한다.

실험 결과

연구 질문

• RQ1 INLA는 MCMC 및 우도 기반 방법과 비교해 베타 혼합 모델에 대해 정확하고 계산 효율적인 베이지안 추론을 제공할 수 있는가?
• RQ2 분산 매개변수(φ) 및 난수 효과 정밀도(τ)의 후행 추정치는 사전 분포의 선택에 얼마나 민감한가?
• RQ3 계층적 자료 구조에서 최적의 베타 혼합 모델을 식별하는 데 LML, DIC, 또는 CPO 중 어느 모델 선택 기준이 가장 우수한가?
• RQ4 φ 및 τ에 대한 다양한 사전 분포 설정이 후행 분포 및 모델 결론에 어떤 영향을 미치는가?
• RQ5 기업 규모 및 평균 소득과 같은 예측 변수는 계층적 산업 근로자 데이터셋에서 생활 질 지수에 어떤 영향을 미치는가?

주요 결과

• INLA는 MCMC 및 우도 기반 추론 방식과 유사한 후행 추정치를 도출하여 정확성을 입증한다.
• φ에 대해 사전 및 후행 분포 간 헬링거 거리가 0.6에서 0.1628로 감소하여 사전 선택에 대해 낮은 민감도를 보였고, τ에 대해서는 0.6에서 0.2827로 감소하여 중간 수준의 민감도를 나타냈다.
• 극단적인 사전 분포를 적용했을 때 τ의 후행 평균이 52.05% 변화했지만, 회귀 계수의 변화는 모든 모델 간 0.5% 미만으로 안정되어 있었다.
• LML, DIC, CPO 기준으로 선택된 최종 모델이 세 기준 모두 일치하여 모델 선택의 강건성을 입증했다.
• 기업 규모와 평균 소득은 생활 질 지수의 유의미한 예측 변수로 확인되었으며, 난수 절편은 주 수준의 변동성을 잘 반영했다.
• INLA의 계산 시간은 MCMC보다 상당히 낮아, 다양한 모델 사양을 효율적으로 탐색할 수 있도록 했다.