[논문 리뷰] Particle Gibbs for Bayesian Additive Regression Trees

Balaji Lakshminarayanan, Daniel M. Roy외 1명|arXiv (Cornell University)|2015. 02. 16.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 7

한 줄 요약

이 논문은 BART(Bayesian Additive Regression Trees)를 위한 새로운 Particle Gibbs 샘플러인 PG-BART를 소개한다. PG-BART는 국소적 이동 대신 전체 트리를 제안함으로써 사후 분포 탐색을 향상시킨다. 상향식 입자 필터링과 순차적 몬테 카를로 기법을 활용하여, 고차원 데이터 또는 깊은 트리 설정에서 특히 혼합 성능과 효율성이 뛰어나며, 효과적 표본 크기와 초당 ESS 측면에서 표준 MCMC 샘플러를 능가한다.

ABSTRACT

Additive regression trees are flexible non-parametric models and popular off-the-shelf tools for real-world non-linear regression. In application domains, such as bioinformatics, where there is also demand for probabilistic predictions with measures of uncertainty, the Bayesian additive regression trees (BART) model, introduced by Chipman et al. (2010), is increasingly popular. As data sets have grown in size, however, the standard Metropolis-Hastings algorithms used to perform inference in BART are proving inadequate. In particular, these Markov chains make local changes to the trees and suffer from slow mixing when the data are high-dimensional or the best fitting trees are more than a few layers deep. We present a novel sampler for BART based on the Particle Gibbs (PG) algorithm (Andrieu et al., 2010) and a top-down particle filtering algorithm for Bayesian decision trees (Lakshminarayanan et al., 2013). Rather than making local changes to individual trees, the PG sampler proposes a complete tree to fit the residual. Experiments show that the PG sampler outperforms existing samplers in many settings.

연구 동기 및 목표

• 데이터가 고차원이거나 트리가 깊을 경우 표준 메트로폴리스-해스팅스 샘플러의 열악한 혼합 성능 문제를 해결한다.
• BART에서 국소적 MCMC 이동의 한계를 극복하여 수렴 속도 저하와 사후 근사 정확도 저하를 방지한다.
• 다양한 초모수 설정에서 높은 사후 탐색 품질을 유지하면서도 확장성과 효율성을 확보한 BART용 샘플링 전략을 개발한다.
• 대규모 또는 복잡한 데이터 환경에서도 신뢰구간과 변수 중요도를 포함한 신뢰할 수 있는 확률적 추론을 가능하게 한다.
• 입자 기반 추론을 베이지안 백피팅과 융합하여, 수용 비율에서 트리 사전확률을 명시적으로 평가할 필요 없이도 효율적인 샘플링을 달성한다.

제안 방법

• 국소적 트리 갱신 대신 SMC 기반 전체 트리 제안을 사용하는 것으로 Particle Gibbs(PG) 프레임워크를 BART에 적응시킨다.
• 잔차를 조건으로 하여 트리의 조건부 분포를 근사하기 위해 상향식 순차적 몬테 카를로(SMC) 알고리즘을 사용한다.
• 입자 필터링을 통해 후행 분포에서 전체 트리를 샘플링하며, 입자는 후보 트리 구조를 나타낸다.
• PG 샘플러를 베이지안 백피팅 MCMC 프레임워크에 통합하여, 다른 트리들의 현재 피팅에 조건을 두고 한 트리씩 갱신한다.
• 수용 비율에서 트리 사전확률이 상쇄됨을 활용하여, 사전확률이 비계산 가능하더라도 효율적인 샘플링이 가능하다.
• 비용이 많이 드는 사전확률 평가를 피하고 사전확률 샘플링에 의존함으로써 계산 효율성을 확보한다. 이는 일반적으로 밀도 평가보다 간단한 경우가 많다.

실험 결과

연구 질문

• RQ1 국소적 이동 메트로폴리스-해스팅스 알고리즘에 비해 입자 기반 MCMC 샘플러가 BART의 혼합 성능을 향상시킬 수 있는가?
• RQ2 국소 수정이 아닌 전체 트리 제안이 고차원 데이터에서 더 빠른 수렴과 더 나은 사후 탐색을 이끌 수 있는가?
• RQ3 깊은 진짜 트리나 고차원 데이터 환경에서는 국소 샘플러가 어려운 상황에서 PG-BART는 어떻게 성능을 발휘하는가?
• RQ4 SMC와 효과적으로 융합된 PG 프레임워크는 베이지안 결정 트리에 대해 확장 가능하고 정확한 BART 추론 방법을 제공할 수 있는가?
• RQ5 후행 샘플링 효율성과 신뢰구간 품질 향상과 함께 PG-BART 샘플러는 예측 성능도 잘 유지하는가?

주요 결과

• Hypercube-D 데이터셋에서 깊이 D=4일 때 PG-BART는 효과적 표본 크기(Ess) 686.79를 기록했고, CGM는 14.01, GrowPrune는 11.76에 그쳤다. 이는 열악한 혼합 성능을 보인다.
• 깊이 D=7일 때 PG-BART는 ESS 422.96를 기록했고, CGM(1.16)와 GrowPrune(1.78)를 크게 앞서며 깊은 트리 설정에서 강력한 성능을 보였다.
• 384차원인 CTslices 데이터셋에서 PG-BART는 ESS/s 2.115×10⁻³를 기록했고, CGM(0.080×10⁻³)와 GrowPrune(0.615×10⁻³)를 압도하여 고차원 데이터에서 뛰어난 효율성을 입증했다.
• 90차원인 YearPredictionMSD에서 PG-BART는 ESS 76.766, ESS/s 14.070×10⁻³를 기록했고, CGM(29.215 ESS, 2.018×10⁻³ ESS/s)와 GrowPrune(21.656 ESS, 7.029×10⁻³ ESS/s)를 크게 앞서며 뚜렷한 성능 우월성을 보였다.
• 모든 샘플러가 유사한 예측 평균제곱오차를 기록했음에도 불구하고, PG-BART는 더 나은 혼합 성능 덕분에 더 정확한 사후 추론을 제공했으며, 특히 고차원 및 깊은 트리 환경에서 두드러졌다.
• 다양한 차원성의 데이터셋에서 일관된 성능 유지를 보이며, 국소 샘플러가 효과적으로 혼합되지 못하는 상황에서도 강건성과 확장성을 입증했다.