[논문 리뷰] Log-Linear Bayesian Additive Regression Trees for Categorical and Count Responses

Jared S. Murray|arXiv (Cornell University)|2017. 01. 05.

Bayesian Methods and Mixture Models참고 문헌 23인용 수 24

한 줄 요약

이 논문은 범주형 및 카운트 반응 변수를 위한 로그선형 모델로 베이지안 덧셈 회귀 트리(BART)를 확장한다. 이는 다항 로지스틱 회귀 및 영이 많고 과분산된 카운트 데이터를 포함한다. 새로운 데이터 보정 전략과 校정된 사전 분포를 개발함으로써, 기존의 가우시안 우도 이외의 상황에서도 효율적인 MCMC 샘플링을 가능하게 하여, 비가우시안 설정에서 더 높은 유연성과 강건성을 입증한다.

ABSTRACT

We introduce Bayesian additive regression trees (BART) for log-linear models including multinomial logistic regression and count regression with zero-inflation and overdispersion. BART has been applied to nonparametric mean regression and binary classification problems in a range of settings. However, existing applications of BART have been limited to models for Gaussian data, either observed or latent. This is primarily because efficient MCMC algorithms are available for Gaussian likelihoods. But while many useful models are naturally cast in terms of latent Gaussian variables, many others are not -- including models considered in this paper. We develop new data augmentation strategies and carefully specified prior distributions for these new models. Like the original BART prior, the new prior distributions are carefully constructed and calibrated to be flexible while guarding against overfitting. Together the new priors and data augmentation schemes allow us to implement an efficient MCMC sampler outside the context of Gaussian models. The utility of these new methods is illustrated with examples and an application to a previously published dataset.

연구 동기 및 목표

• 가우시안 우도 이외의 모델을 다룰 수 있도록 BART를 확장하여 범주형 및 카운트 반응 변수를 처리한다.
• 잠재 가우시안 가정이 적용되지 않는 비가우시안 모델에서 효율적인 MCMC 샘플링 전략을 개발한다.
• 로그선형 모델에서 과적합을 방지하면서도 모델의 정규화를 보장하는 민감한 사전 분포를 구성한다.
• 다항 로지스틱 및 영이 많고 과분산된 카운트 모델에 대해 BART의 비모수적 회귀 능력을 활용할 수 있도록 한다.
• 기존 방법과의 비교 및 실제 데이터 응용을 통해 방법의 실용성을 입증한다.

제안 방법

• 다항 및 영이 많고 과분산된 카운트 반응을 포함한 로그선형 모델에 특화된 새로운 데이터 보정 기법을 도입한다.
• 트리의 구조와 노드 파라미터에 대해 유연성을 유지하면서 과적합을 방지하는 校정된 사전 분포를 설계한다.
• 새로운 사전 분포를 게재한 게비스 샘플링 알고리즘 내에 통합함으로써 BART 프레임워크를 비가우시안 우도로 확장한다.
• 확장된 데이터로부터 유도된 조건부 사후 분포를 사용하여 트리의 구조와 파라미터를 반복적으로 갱신한다.
• 고차원 설정에서 수축과 안정성을 확보하기 위해 트리 파라미터에 계층적 사전 분포를 도입한다.
• 새로운 보정 및 사전 분포 기법을 활용하여 트리와 파라미터를 동시에 갱신하는 효율적인 MCMC 샘플러를 구현한다.

실험 결과

연구 질문

• RQ1 BART는 다항 로지스틱 회귀 및 카운트 회귀와 같은 비가우시안 반응 모델로 확장될 수 있는가?
• RQ2 비가우시안 BART 모델에서 효율적인 MCMC 샘플링을 가능하게 하기 위해 필요한 데이터 보정 및 사전 분포 설정 전략은 무엇인가?
• RQ3 새로운 사전 분포는 로그선형 모델에서 모델의 유연성을 유지하면서 과적합을 어떻게 방지하는가?
• RQ4 확장된 BART 모델의 성능은 카운트 및 범주형 데이터에서 기존 방법과 비교해 어떻게 되는가?
• RQ5 이 방법은 카운트 반응에서 영이 많고 과분산과 같은 복잡한 데이터 특성을 다룰 수 있는가?

주요 결과

• 제안된 방법은 BART를 로그선형 모델로 성공적으로 확장하여, 범주형 및 카운트 결과의 비모수적 모델링을 가능하게 한다.
• 새로운 데이터 보정 및 사전 분포는 기존 BART 방법이 적용되지 않는 비가우시안 설정에서 효율적인 MCMC 샘플링을 가능하게 한다.
• 교정된 사전 분포는 다양한 반응 유형에서 모델의 유연성을 유지하면서도 과적합을 효과적으로 통제한다.
• 이전에 발표된 데이터셋에서 강력한 성능을 보이며, 복잡한 반응 분포에 대해 향상된 적합도와 예측 정확도를 보였다.
• 이 프레임워크는 영이 많고 과분산된 카운트 데이터의 모델링을 지원하며, 현실 응용에서 흔히 발생하는 특성이다.
• 복잡한 우도 모델에도 불구하고 계산의 실현 가능성과 확장성을 유지한다.