[논문 리뷰] Stochastic Tree Ensembles for Regularized Nonlinear Regression

Jingyu He, P. Richard Hahn|arXiv (Cornell University)|2020. 02. 09.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 12

한 줄 요약

이 논문은 BART의 정규화 및 사전 분포를 활용하면서도 빠른 재귀적 트리 생성 알고리즘을 조합함으로써 베이지안 덧셈 회귀 트리(BART)의 계산 속도를 향상시키는 스토하스틱 트리 앙상블 XBART를 소개한다. XBART는 예측 정확도와 함수 추정에서 최신 기술 수준을 달성하면서도 BART, XGBoost, 신경망보다 훨씬 빠르며, BART의 MCMC 수렴을 향상시키기 위해 초기화에 사용될 경우에도 유리하다.

ABSTRACT

This article develops a novel stochastic tree ensemble method for nonlinear regression, referred to as accelerated Bayesian additive regression trees, or XBART. By combining regularization and stochastic search strategies from Bayesian modeling with computationally efficient techniques from recursive partitioning algorithms, XBART attains state-of-the-art performance at prediction and function estimation. Simulation studies demonstrate that XBART provides accurate point-wise estimates of the mean function and does so faster than popular alternatives, such as BART, XGBoost, and neural networks (using Keras) on a variety of test functions. Additionally, it is demonstrated that using XBART to initialize the standard BART MCMC algorithm considerably improves credible interval coverage and reduces total run-time. Finally, two basic theoretical results are established: the single tree version of the model is asymptotically consistent and the Markov chain produced by the ensemble version of the algorithm has a unique stationary distribution.

연구 동기 및 목표

• 정규화와 베이지안 불확실성 측정을 유지하면서도 BART보다 훨씬 빠른 대안을 개발하기 위해.
• 예측 정확도를 희생시키지 않고 대규모 비선형 회귀의 계산 효율성을 향상시키기 위해.
• 다양한 신호 대 잡음 비율과 데이터 크기에서 잘 작동하는 방법을 만들기 위해.
• 알고리즘의 일致성과 고유한 정적 분포와 같은 이론적 성질을 확립하기 위해.
• 실제 테이블 데이터에 적용 가능한 확장성 있고 고성능 대안을 제공하기 위해, XGBoost와 BART의 대안으로서의 성능을 확보하기 위해.

제안 방법

• XBART는 후행 분포에서 분할점과 잎 파라미터를 샘플링하는 방식으로 트리를 구축하기 위해 루트에서 시작하는 스토하스틱 탐색 전략을 사용한다.
• 트리 구조와 잎 파라미터에 BART의 사전 분포를 적용하며, 정규화를 위한 전역 수축 파라미터 τ를 포함한다.
• 공액 선형 회귀를 사용하여 반복적으로 분할을 샘플링하고 잎 파라미터를 업데이트함으로써 스토하스틱 트리 성장을 수행한다.
• 트리 구조를 제안하기 위해 메트로폴리스-해스팅스 단계를 사용하며, 수용 확률은 후행 우도와 사전 비율에 기반한다.
• 각 트리가 정규화와 모델 평균화를 장려하는 사전 분포를 사용하여 스토하스틱으로 성장하는 다수의 트리를 조합함으로써 앙상블를 형성한다.
• 공액 사전을 활용하여 잎 파라미터에 대한 후행 분포를 효율적으로 계산함으로써 빠른 계산을 가능하게 한다.

Figure 2 : RMSE ratios of XBART to RF against XGBCV to RF across a variety of data generating processes.

실험 결과

연구 질문

• RQ1 스토하스틱이고 재귀적인 트리 성장 알고리즘이 BART 수준의 정확도를 달성하면서도 훨씬 더 빠를 수 있는가?
• RQ2 표준 BART MCMC의 초기화에 XBART를 사용할 경우 수렴성과 신뢰구간 커버리지가 향상되는가?
• RQ3 XBART에 의해 유도된 마르코프 체인이 에르고딕하고 고유한 정적 분포를 가지는가?
• RQ4 XBART는 BART, XGBoost, 신경망과 비교해 다양한 신호 대 잡음 비율과 테스트 함수에서 어떻게 성능을 내는가?
• RQ5 스토하스틱 트리 앙상블는 표본 크기가 증가함에 따라 함수 추정에서 일관성을 유지할 수 있는가?

주요 결과

• XBART는 다양한 테스트 함수에서 최신 기술 수준의 예측 정확도와 함수 추정 성능을 달성하며, 시뮬레이션 연구에서 BART, XGBoost, 신경망을 능가하거나 동등하게 성능을 내었다.
• BART보다 훨씬 빠르며, BART가 비가능한 대규모 데이터셋에서는 런타임이 최대 10배 감소했다.
• XBART를 사용해 BART MCMC를 초기화하면 표준 초기화 방식보다 신뢰구간 커버리지가 향상되고 총 런타임이 감소했다.
• 단일 트리 버전의 XBART는 정규성 조건 하에서 渐近 일관성을 보이며 이론적 타당성을 뒷받침한다.
• XBART 앙상블 버전이 생성하는 마르코프 체인은 고유한 정적 분포를 가지며, MCMC 추론에의 적용을 정당화한다.
• 사전 분산 파라미터 τ를 샘플링함으로써 고잡음 및 저표본 크기 환경에서 성능이 향상되어 강건성이 향상된다.

Figure 3 : Boxplot of the RRMSE for each method across the total 120 training / testing splits.