[논문 리뷰] Posterior Concentration for Bayesian Regression Trees and their Ensembles

Veronika Ročková, Stéphanie van der Pas|arXiv (Cornell University)|2017. 08. 29.

Bayesian Modeling and Causal Inference인용 수 19

한 줄 요약

이 논문은 부드러운 회귀 함수 주위로 사후 분포가 집중되도록 해주는 스파이크-트리 사전을 도입하여 베이지안 회귀 트리와 그들의 앙상블에 대한 이론적 보장을 수립한다. 이는 최적의 수렴 속도를 로그 인자까지 달성하며, 알려지지 않은 부드러움에 적응하고, p > n일 때 차원 감소를 수행함으로써 그들의 경험적 성공에 대한 이론적 기반을 제공한다.

ABSTRACT

Since their inception in the 1980's, regression trees have been one of the more widely used non-parametric prediction methods. Tree-structured methods yield a histogram reconstruction of the regression surface, where the bins correspond to terminal nodes of recursive partitioning. Trees are powerful, yet susceptible to over-fitting. Strategies against overfitting have traditionally relied on pruning greedily grown trees. The Bayesian framework offers an alternative remedy against overfitting through priors. Roughly speaking, a good prior charges smaller trees where overfitting does not occur. While the consistency of random histograms, trees and their ensembles has been studied quite extensively, the theoretical understanding of the Bayesian counterparts has been missing. In this paper, we take a step towards understanding why/when do Bayesian trees and their ensembles not overfit. To address this question, we study the speed at which the posterior concentrates around the true smooth regression function. We propose a spike-and-tree variant of the popular Bayesian CART prior and establish new theoretical results showing that regression trees (and their ensembles) (a) are capable of recovering smooth regression surfaces, achieving optimal rates up to a log factor, (b) can adapt to the unknown level of smoothness and (c) can perform effective dimension reduction when p>n. These results provide a piece of missing theoretical evidence explaining why Bayesian trees (and additive variants thereof) have worked so well in practice.

연구 동기 및 목표

• 베이지안 회귀 트리가 실무에서 과적합을 피하는 이유에 대한 이론적 이해 부족을 해결하기 위해.
• 사후 분포가 참의 부드러운 회귀 함수 주위로 얼마나 빠르게 집중되는지를 연구하기 위해.
• 베이지안 비모수 회귀에서 최적의 최대우도 수렴 속도를 달성할 수 있도록 해주는 스파이크-트리 사전을 개발하기 위해.
• 높은 차원 설정에서의 알려지지 않은 부드러움에 대한 적응성과 효과적인 차원 감소를 보여주기 위해 (p > n).
• 베이지안 트리와 그들의 앙상블이 보이는 강력한 경험적 성능에 대한 이론적 근거를 제공하기 위해.

제안 방법

• Null 모델에 대한 스파이크와 분할에 대한 트리 기반 사전을 조합한 베이지안 CART 사전의 스파이크-트리 변형을 제안한다.
• 더 작은 트리를 선호하는 계층적 사전 구조를 사용하여 수축을 통해 과적합을 줄인다.
• 참 회귀 함수 주위의 쿨백-라이블러 이웃에 대한 사후 확률의 상한을 구하여 사후 집중을 분석한다.
• 비점근적 집중 부등식과 거리 엔트로피의 고려를 통해 수렴 속도를 수립한다.
• 개별 트리와 그들의 앙상블에 결과를 적용하여, 더 높은 적응성과 강건성을 보여준다.
• 사후 분포가 알려지지 않은 부드러움 조건 하에서도 로그 인자까지 최적의 속도로 수축함을 보여준다.

실험 결과

연구 질문

• RQ1 베이지안 회귀 트리는 부드러운 회귀 함수에 대해 최적의 사후 집중 속도를 달성할 수 있는가?
• RQ2 스파이크-트리 사전은 참 회귀 함수의 알려지지 않은 부드러움에 어떻게 적응하게 하는가?
• RQ3 예측 변수의 수가 표본 크기를 초과할 때 (p > n), 베이지안 트리는 얼마나 효과적으로 차원 감소를 수행할 수 있는가?
• RQ4 베이지안 트리 앙상블의 사후 집중에 대해 어떤 이론적 보장이 가능할 수 있는가?
• RQ5 비모수적 유연성에도 불구하고, 베이지안 트리와 그들의 앙상블이 실무에서 잘 일반화되는 이유는 무엇인가?

주요 결과

• 베이지안 회귀 트리는 부드러운 회귀 함수에 대해 로그 인자까지 최적의 속도로 사후 집중을 달성하며, 비모수 회귀에서 알려진 최소최대 속도와 일치한다.
• 스파이크-트리 사전은 참 회귀 함수의 알려지지 않은 부드러움에 대해 사후 분포가 적응할 수 있도록 해주며, 부드러움 클래스를 사전에 알 필요가 없다.
• 트리 분할을 통해 관련 있는 공변량을 집중적으로 고려함으로써, p > n 조건에서도 효과적인 차원 감소를 수행하며 양호한 성능을 달성한다.
• 이론적 결과는 베이지안 트리 앙상블로까지 확장되며, 단일 트리보다 더 높은 적응성과 강건성을 보여준다.
• 사후 집중은 온건한 정규성 조건 하에서 확립되었으며, 베이지안 트리의 경험적 성공에 대한 이론적 설명을 제공한다.
• 이 분석은 비모수 회귀에서 베이지안 트리의 사용에 대한 첫 이론적 근거를 제공하며, 문헌에서 핵심적 빈자리인 이론적 공백을 메운다.