[논문 리뷰] XBART: Accelerated Bayesian Additive Regression Trees

Jingyu He, Saar Yalov외 1명|arXiv (Cornell University)|2018. 10. 04.

Statistical Methods and Inference참고 문헌 13인용 수 22

한 줄 요약

XBART는 기존 MCMC를 대체하여 빠르고 적응적인 탐색 전략을 사용하는 확률적 오르막 탐색 알고리즘을 제안함으로써 베이지안 가감 회귀 트리(BART)의 계산 속도를 높인다. 이로 인해 표준 BART와 유사한 예측 정확도를 달성하면서도, 속도는 수십 배 빠르고 메모리 사용량도 훨씬 적다. 특히 하이퍼파rameter 조정 없이도 XGBoost, 랜덤 포레스트, 신경망보다 정확도에서 뛰어나며, 대규모 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

Bayesian additive regression trees (BART) (Chipman et. al., 2010) is a powerful predictive model that often outperforms alternative models at out-of-sample prediction. BART is especially well-suited to settings with unstructured predictor variables and substantial sources of unmeasured variation as is typical in the social, behavioral and health sciences. This paper develops a modified version of BART that is amenable to fast posterior estimation. We present a stochastic hill climbing algorithm that matches the remarkable predictive accuracy of previous BART implementations, but is many times faster and less memory intensive. Simulation studies show that the new method is comparable in computation time and more accurate at function estimation than both random forests and gradient boosting.

연구 동기 및 목표

• 표준 BART는 느린 MCMC 샘플링에 의존하여 계산 비용이 높아지며, 강력한 예측 성능에도 불구하고 이로 인해 보편적인 적용이 제한됨을 해결하고자 한다.
• MCMC 기반 BART의 계산 비용을 줄이고도 베이지안 불확실성 추정 및 하이퍼파rameter 선택에 대한 강건성을 유지하는 빠르고 확장 가능한 대안을 개발하고자 한다.
• 복잡하고 비구조적인 예측 변수를 가진 환경에서 비선형 함수 추정을 위한 기본(default) 고성능 방법으로 BART를 사용할 수 있도록 하고자 한다.
• 비확률적이고 탐욕적인 탐색 전략이 MCMC 기반 BART 및 XGBoost, 랜덤 포레스트와 같은 선도적 트리 기반 모델의 정확도를 충족하거나 초월할 수 있는지 검증하고자 한다.

제안 방법

• XBART는 BART의 MCMC 사후 분포 시뮬레이션을 대체하여, 데이터의 사후 확률을 최대화하는 분할을 선택함으로써 탐욕적으로 트리를 성장시키는 확률적 오르막 탐색 알고리즘을 사용한다.
• 현재 오차 표준편차 σ의 추정치를 반영한 사전 예측 분포에서 유도된 새로운 분할 기준을 사용하여 트리 성장을 적응적으로 정규화한다.
• 루트에서 시작하는 트리 성장 전략을 적용하여 유망한 분지들만 확장함으로써 계산 오버헤드를 줄인다.
• 예측 변수에 따라 달라지는 사전을 사용하여 변수 선택과 분할점 적응을 처리함으로써 트리 공간 탐색의 정밀도와 모델 적합도를 향상시킨다.
• 결정적 최적화기보다 더 나은 사후 분포 탐색을 가능하게 하는 확률적 제안 메커니즘을 사용한다.
• Burn-in 및 수렴 문제를 피하기 위해 빠른 근사 사후 추정 절차를 통합하여 신속한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비MCMC 기반의 확률적 오르막 탐색 알고리즘이 MCMC 기반 BART와 유사한 예측 정확도를 달성하면서도 훨씬 더 빠른가?
• RQ2 XBART는 하이퍼파rameter 선택에 강건하고, 광범위한 조정 없이도 신뢰할 수 있는 불확실성 추정을 제공하는가?
• RQ3 다양한 데이터 생성 메커니즘에서 XBART는 XGBoost, 랜덤 포레스트, 신경망과 비교해 정확도와 속도 면에서 어떻게 성능을 내는가?
• RQ4 분할 기준에서 σ 추정치를 통한 적응적 정규화가 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 알고리즘이 베이지안 원인 포레스트나 로그선형 BART 모델과 같은 더 복잡한 BART 변종으로 확장 가능한가?

주요 결과

• XBART는 시뮬레이션 설정 전반에서 교차검증을 통한 XGBoost보다 평균적으로 31% 낮은 평균제곱근오차(RMSE)를 기록했으며, 대부분의 경우 더 빠른 속도를 보였다.
• n = 250,000일 때 XBART는 조정되지 않은 XGBoost보다 3.5배 더 정확했고, 기본 XGBoost 설정보다 2.5배 더 빠르게 작동했다.
• 저노이즈 환경에서는 표준 MCMC 기반 BART와 유사하거나 略적으로 뛰어난 성능을 보였고, 고노이즈 환경에서는 더 나은 사후 분포 탐색 덕분에 상당히 뛰어난 성능을 보였다.
• 랜덤 포레스트와 기존 MCMC BART는 큰 표본 크기(n > 10,000)에서 매우 느려졌지만, XBART는 효율적으로 확장되었다.
• 신경망과 XGBoost는 저노이즈 환경에서 더 나은 성능을 보였지만, XBART는 조정 없이도 모든 노이즈 수준에서 뛰어난 정확도를 유지했다.
• 사전 추정을 통해 유도된 XBART의 기본 하이퍼파ram터는 다양한 데이터 생성 과정에서 뛰어난 성능을 보였으며, 이는 모델의 강건성과 기본 모델로서의 적합성을 확인시켰다.