[논문 리뷰] Bayesian Regression Tree Ensembles that Adapt to Smoothness and Sparsity

Antonio R. Linero, Yun Yang|arXiv (Cornell University)|2017. 07. 29.

Statistical Methods and Inference참고 문헌 5인용 수 9

한 줄 요약

이 논문은 고차원 회귀에서 알려지지 않은 매끄러움과 희소성에 적응할 수 있는 새로운 베이지안 트리 앙상블 방법인 소프트 베이지안 덧셈 회귀 트리(SBART)를 제안한다. 부드러운 결합 규칙을 사용하고 희소성 유도 사전을 적용함으로써, SBART는 예측 변수 수가 표본 크기와 거의 지수적으로 증가하는 상황에서도 희소성, 매끄러움, 덧셈 구조를 가진 함수에 대해 거의 최소한의 사후 수축률을 달성한다. 이는 기존 BART 알고리즘에 거의 변화가 없이 실현 가능하다.

ABSTRACT

Ensembles of decision trees are a useful tool for obtaining for obtaining flexible estimates of regression functions. Examples of these methods include gradient boosted decision trees, random forests, and Bayesian CART. Two potential shortcomings of tree ensembles are their lack of smoothness and vulnerability to the curse of dimensionality. We show that these issues can be overcome by instead considering sparsity inducing soft decision trees in which the decisions are treated as probabilistic. We implement this in the context of the Bayesian additive regression trees framework, and illustrate its promising performance through testing on benchmark datasets. We provide strong theoretical support for our methodology by showing that the posterior distribution concentrates at the minimax rate (up-to a logarithmic factor) for sparse functions and functions with additive structures in the high-dimensional regime where the dimensionality of the covariate space is allowed to grow near exponentially in the sample size. Our method also adapts to the unknown smoothness and sparsity levels, and can be implemented by making minimal modifications to existing BART algorithms.

연구 동기 및 목표

• 기존의 베이지안 트리 앙상블이 알려지지 않은 매끄러움 수준에 적응하지 못하고 차원의 극복 문제를 겪는 데서 비롯된 한계를 해결하기 위해.
• 고차원 설정에서 희소성과 매끄러움을 가진 회귀 함수에 대해 최적의 사후 수축률을 달성하는 방법을 개발하기 위해.
• 최소한의 요인까지 로그 인수를 포함한 최소한의 속도에 맞는 사후 집중 이론적 보장을 제공하기 위해.
• 기존 BART 알고리즘에 거의 변화 없이 실용적인 구현을 가능하게 하기 위해.
• 이러한 특성에 대한 사전 지식 없이도 알려지지 않은 매끄러움 수준, 희소성, 저차수 상호작용 구조에 적응할 수 있도록 하기 위해.

제안 방법

• 결정 규칙이 결정적이 아니라 확률적인 소프트 결합 트리를 도입하여 더 부드러운 함수 추정이 가능하도록 한다.
• 활성 예측 변수 수가 적은 모델을 선호하기 위해 분할 규칙 확률에 대해 희소성 유도 딜레트 사전을 사용한다.
• BART 프레임워크 내에서 트리의 합으로 구성된 덧셈 구조를 사용하여 비모수 함수 추정의 유연성을 확보한다.
• 합된 트리 추정기와 커널 유형 추정기 간의 연결 고리를 제공하는 핵심 레마를 적용하여 사후 집중의 이론적 분석을 가능하게 한다.
• 표준 BART 깁스 샘플링 및 백피팅 알고리즘에 소량의 수정을 가하여 방법을 구현한다.
• 디릴레트 사전의 조건부 공액성을 활용하여 MCMC 샘플링 중 계산의 타당성을 유지한다.

실험 결과

연구 질문

• RQ1 베이지안 트리 앙상블은 진정한 회귀 함수의 알려지지 않은 매끄러움 수준에 적응할 수 있는가?
• RQ2 소프트 결합 트리에 적용된 희소성 유도 사전은 고차원 회귀에서 차원의 극복 문제를 완화시킬 수 있는가?
• RQ3 고차원 점점 증가하는 상황에서 베이지안 트리 앙상블의 사후 분포가 거의 최소한의 속도로 수축할 수 있는가?
• RQ4 이 방법은 이러한 구조에 대한 사전 지식 없이도 덧셈 또는 저차수 상호작용 구조에 적응할 수 있는가?
• RQ5 제안된 방법은 기존 BART 알고리즘에 거의 변화 없이 구현할 수 있으며 이론적으로 최적성을 유지할 수 있는가?

주요 결과

• d ≪ p 인 활성 예측 변수 수를 가진 함수에 대해 SBART는 $ n^{-\frac{\bar{\nu}}{2\bar{\nu}+d}} + \sqrt{n^{-1}d\log p} $ 속도로 사후 수축을 달성한다. 이는 $ p $ 가 $ n $ 과 거의 지수적으로 증가하는 경우에도 거의 최소한의 최적성을 유지한다.
• $ \alpha $-홀더 매끄러운 함수의 경우, 사후 수축 속도는 $ n^{-\frac{\alpha}{2\alpha + p}} $ 로 최소한의 속도에 로그 인수까지 포함하여 달성된다.
• 진짜 함수가 $ V $ 개의 성분을 가지며 각 성분이 $ d_v $ 개의 예측 변수에 의존하고 $ \alpha_v $-매끄럽다고 할 때, SBART는 $ \sum_{v=1}^V \varepsilon_{n,v} $ 의 속도를 달성한다. 여기서 $ \varepsilon_{n,v} = n^{-\frac{\alpha_v}{2\alpha_v + d_v}}(\log n)^{t_v} + \sqrt{n^{-1}d_v\log p} $ 이며, 이는 거의 최소한의 최적성을 갖는다.
• 이 방법은 이러한 특성에 대한 사전 지식 없이도 알려지지 않은 매끄러움 수준, 희소성, 상호작용 순서에 적응한다.
• 사전 집중 확률는 $ \exp\{-C n \varepsilon_n^2\} $ 이하로 하한이 둔다. 이는 제시된 속도 조건 하에서 사후 일관성을 뒷받침한다.
• 이론적 결과는 합된 트리 추정기와 커널 유형 추정기 간의 연결 고리를 제공하는 새로운 레마를 통해 뒷받침되며, 최소한의 속도 분석이 가능해졌다.