[논문 리뷰] VCBART: Bayesian trees for varying coefficients

Sameer K. Deshpande, Ray Bai외 3명|arXiv (Cornell University)|2020. 03. 13.

Health disparities and outcomes인용 수 5

한 줄 요약

VCBART는 다변량 영향 요인에 따라 변화하는 계수 모델을 위한 베이지안 덧셈 회귀 트리 프레임워크를 도입하여, 제약 없는 기능 형태 가정 없이도 다변량 영향 요인에 따라 변화하는 공변량 효과를 민감하고 비모수적으로 추정할 수 있도록 한다. 이는 기존 방법들에 비해 추정 정확도, 불확실성 정량화, 예측 성능에서 뛰어난 성능을 보이며, 철저한 하이퍼파라미터 튜닝이 필요로 하지 않는다.

ABSTRACT

The linear varying coefficient models posits a linear relationship between an outcome and covariates in which the covariate effects are modeled as functions of additional effect modifiers. Despite a long history of study and use in statistics and econometrics, state-of-the-art varying coefficient modeling methods cannot accommodate multivariate effect modifiers without imposing restrictive functional form assumptions or involving computationally intensive hyperparameter tuning. In response, we introduce VCBART, which flexibly estimates the covariate effect in a varying coefficient model using Bayesian Additive Regression Trees. With simple default settings, VCBART outperforms existing varying coefficient methods in terms of covariate effect estimation, uncertainty quantification, and outcome prediction. We illustrate the utility of VCBART with two case studies: one examining how the association between later-life cognition and measures of socioeconomic position vary with respect to age and socio-demographics and another estimating how temporal trends in urban crime vary at the neighborhood level. An R package implementing VCBART is available at https://github.com/skdeshpande91/VCBART

연구 동기 및 목표

• 다변량 영향 요인을 다룰 때 제약적인 기능 형태 가정이나 철저한 하이퍼파라미터 튜닝이 필요한 기존 변화 계수 모델의 한계를 해결한다.
• 엄격한 파라미터 구조를 부과하지 않고도 다중 영향 요인에 따라 변화하는 공변량 효과를 비모수적 함수로 민감하게 추정할 수 있는 방법을 개발한다.
• 사회과학 및 공중보건 연구에서 흔한 고차원적이거나 복잡한 데이터 설정에서 정확한 불확실성 정량화와 예측 성능을 보장한다.
• 블랙박스 모델과 비교해도 성능가능성이 높으면서도 해석 가능성을 유지하면서도 사용자 튜닝이 최소화된 확장 가능한, 기본 설정 우호적인 베이지안 접근을 제공한다.

제안 방법

• 각 βj(Z)를 바이너리 회귀 트리의 앙상블로 표현하는 베이지안 덧셈 회귀 트리(BART)를 사용하여 변화 계수 함수 βj(Z)를 모델링한다.
• 트리 매개변수에 계층적 사전분포를 적용하여 유연한 비모수 함수 학습을 가능하게 하면서도 수축과 정규화를 유지한다.
• MCMC 샘플링을 활용하여 계수 함수 βj(Z)와 결과 회귀를 동시에 추정함으로써 후행 추론과 불확실성 정량화를 가능하게 한다.
• 최소 최대 최적 후행 농도 정리(정리 1)를 적용하여 이론적으로 이 방법이 로그 인자까지는 최소 최대 최적 속도로 수렴함을 입증한다.
• 사용자 튜닝을 최소화하기 위해 기본 사전분포를 사용하는 게비스 샘플러를 통해 방법을 구현한다.
• 트리 점프에 대한 정규 사전분포를 스파이크-슬랩 사전분포로 대체하여 비제로 계수 함수에 대한 희박성 유도를 통해 희박한 변화 계수 모델로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 진짜 기능 형태가 알려져 있지 않거나 매우 복잡한 상황에서 VCBART는 변화 계수 함수를 얼마나 잘 추정할 수 있는가?
• RQ2 문제에 특화된 튜닝 없이도 계수 함수 평가 및 결과 예측에 대해 잘 校정된 신뢰구간을 제공할 수 있는가?
• RQ3 기존 최첨단 변화 계수 방법들과 비교할 때 VCBART의 추정 정확도와 예측 성능는 어떠한가?
• RQ4 VCBART는 필라델피아의 다양한 지역에서 시간에 따른 범죄의 비선형적, 비단조화적 추세를 어느 정도 탐지할 수 있는가?
• RQ5 소득 수준과 후기 생애 인지 능력 간의 연관성은 연령, 인종, 성별에 따라 어떻게 다를 수 있으며, 사전에 상호작용 항을 지정하지 않고도 VCBART는 이러한 이질성을 탐지할 수 있는가?

주요 결과

• 모의 데이터에서 VCBART는 철저한 튜닝 없이도 기존 최첨단 변화 계수 방법들보다 공변량 효과 함수 복원 및 예측 성능에서 뛰어난 성능을 보였다.
• 건강 및 퇄련 연구(HRS) 적용 사례에서 VCBART는 초기 및 후기 성년기의 소득 수준을 보정한 후 아동기 사회경제적 지위(SEP)와 후기 생애 인지 능력 간에 유의미한 연관성이 없다고 발견했으며, 연령, 인종, 성별에 따른 강한 시간에 따라 변화하는 효과도 없었다.
• 필라델피아 범죄 분석에서 VCBART는 384개의 통계 지역 중 338개(88%)에서 선형 추세 계수 β1의 95% 신뢰구간이 0을 포함하지 않음을 확인하여 시간에 따른 범죄의 유의미한 선형 추세가 있음을 시사했다.
• 384개 지역 중 125개(32%)에서 선형 계수(β1)와 이차 계수(β2) 모두가 신뢰구간이 0을 포함하지 않아, 3분의 1 이상의 지역에서 범죄의 비선형 추세가 존재함을 나타냈다.
• 모델은 필라델피아 전역에서 2010년대 초에 범죄가 감소하다가 10년대 후반에 다시 증가하는 비단조화적 추세를 보였으며, VCBART는 지역별 다항식 적합을 통해 이 추세를 잘 포착했다.
• 이론적 분석 결과, VCBART의 후행분포는 최소 최대 최적 속도에 대해 로그 인자까지 수렴함을 보여 이론적으로 강력한 기반을 확보했다.