[논문 리뷰] PReMiuM: An R Package for Profile Regression Mixture Models using Dirichlet Processes

Silvia Liverani, David I. Hastie외 3명|arXiv (Cornell University)|2013. 03. 12.

Bayesian Methods and Mixture Models참고 문헌 22인용 수 9

한 줄 요약

이 논문은 디리클레 과정 사전분포를 사용하는 베이지안 프로파일 회귀 혼합 모델을 위한 R 패키지인 PReMiuM을 소개한다. 이는 잠재 그룹을 통해 반응 변수와 공변량을 연결하는 비모수적 군집화를 가능하게 한다. 다양한 데이터 유형을 지원하고, 결측 공변량을 처리하며, 변수 선택을 가능하게 하며, 수렴 진단, 예측, 후처리를 위한 도구를 제공한다. 시뮬레이션을 통해 안정성과 정확성이 입증되었다.

ABSTRACT

PReMiuM is a recently developed R package for Bayesian clustering using a Dirichlet process mixture model. This model is an alternative to regression models, non-parametrically linking a response vector to covariate data through cluster membership. The package allows Bernoulli, Binomial, Poisson, Normal and categorical response, as well as Normal and discrete covariates. Additionally, predictions may be made for the response, and missing values for the covariates are handled. Several samplers and label switching moves are implemented along with diagnostic tools to assess convergence. A number of R functions for post-processing of the output are also provided. In addition to fitting mixtures, it may additionally be of interest to determine which covariates actively drive the mixture components. This is implemented in the package as variable selection.

연구 동기 및 목표

• 응답 변수가 잠재 그룹 소속을 통해 공변량과 연결되는 다변량 데이터의 군집화를 위한 유연한 베이지안 프레임워크를 개발하는 것.
• 전통적 회귀 모델을 확장하여 공변량과 응답 변수 간의 비모수적, 군집 기반 관계를 허용하는 것.
• 이진, 범주형, 카운트, 연속형 응답 변수와 공변량을 포함한 다양한 유형을 지원하고 결측치 처리 기능을 갖춘 강력하고 확장 가능한 R 패키지를 구현하는 것.
• 군집 형성에 기여하는 공변량을 식별하기 위해 변수 선택 기능을 제공하는 것.
• MCMC 샘플러, 레이블 전환 이동, 수렴 진단을 통해 신뢰할 수 있는 추론을 보장하는 것.

제안 방법

• 스틱 브레이킹 구조를 사용한 디리클레 과정 혼합 모델(DPMM)을 활용하여 군집 수를 비모수적으로 결정한다.
• 절단 샘플링 기반 MCMC 알고리즘을 사용하여 군집 할당과 구성 요소 파라미터를 동시에 업데이트함으로써 절단 근사치를 피한다.
• 조건부 공액 가우스형 가족 사전분포를 통해 이진, 범주형, 카운트, 연속형 결과에 대한 반응 모델을 지원한다.
• 연속형 및 이산형 유형의 공변량을 포함하여 혼합 예측 변수 유형에 대한 탄력적인 모델링을 허용한다.
• 군집 소속의 사후 확률을 기반으로 한 레오-블랙웰라이즈드 예측을 구현하여 예측 정확도를 향상시킨다.
• 수렴 및 안정성 평가를 위한 진단 기능(예: 이질성 행렬 계산, 최적 군집 추정)을 포함한다.

실험 결과

연구 질문

• RQ1 디리클레 과정 혼합을 사용하는 비모수적 베이지안 모델이 고정된 군집 수를 가정하지 않고 공변량과 응답 변수를 연결하는 잠재 군집을 효과적으로 식별할 수 있는가?
• RQ2 PReMiuM 패키지는 이진, 범주형, 카운트, 연속형 응답 변수와 공변량을 포함한 혼합 데이터 유형을 얼마나 잘 처리할 수 있는가?
• RQ3 모델에 변수 선택 기능을 통합할 경우 군집 구조를 이끄는 데 가장 영향을 미치는 공변량을 식별하는 데 얼마나 기여하는가?
• RQ4 실제 및 시뮬레이션 환경에서 MCMC 샘플러와 수렴 진단의 안정성과 신뢰성은 어느 정도인가?
• RQ5 공변량에 결측치가 포함되어 있을 경우, 패키지는 새로운 데이터에 대해 정확한 예측을 수행할 수 있는가?

주요 결과

• PReMiuM 패키지는 디리클레 과정 사전분포를 사용한 완전한 베이지안 프로파일 회귀 모델을 성공적으로 구현하여 자동으로 군집 수를 선택하는 비모수적 군집화를 가능하게 했다.
• 시뮬레이션 결과, 독립적인 MCMC 체인이 20,000회의 버닝 인과 10,000회의 샘플링 반복 후 거의 동일한 결과를 생성하여 뛰어난 안정성을 입증했다.
• 패키지는 사후 분포에서 결측 공변량 값을 통합함으로써 효과적으로 이를 집단 수준 평균으로 처리하여 결측치를 정확하게 처리했다.
• 군집 소속의 사후 확률 기반 예측 분포(Rao-Blackwellised 추정치)가 시뮬레이션 데이터와 매우 유사하여 모델의 타당성을 확인했다.
• 히트맵과 이질성 행렬 기능을 통해 군집 구조를 효과적으로 시각화했으며, 상호 소속도가 높은 관측치들이 함께 그룹화되어 있었다.
• 변수 선택 기능은 시뮬레이션 데이터에서 군집 형성에 가장 기여하는 공변량을 성공적으로 식별했다.