[논문 리뷰] Bayesian Dyadic Trees and Histograms for Regression

Stéphanie van der Pas, Veronika Ročková|arXiv (Cornell University)|2017. 07. 31.

Gaussian Processes and Bayesian Inference인용 수 14

한 줄 요약

이 논문은 단변량 회귀 설정에서 베이지안 회귀 히스토그램과 이진수 트리에 대한 최초의 사후 농도 결과를 확립한다. 복잡도 페널티를 부여한 사전 분포를 사용할 경우, 점프의 수와 위치가 알려져 있지 않은 상황에서도 진짜 조각별로 일정한 회귀 함수 주위로 사후 분포가 근사 최소최대 속도로 수렴함을 보여주며, 베이지안 트리의 경험적 성공에 대한 완전한 적응성과 이론적 근거를 제시한다.

ABSTRACT

Many machine learning tools for regression are based on recursive partitioning of the covariate space into smaller regions, where the regression function can be estimated locally. Among these, regression trees and their ensembles have demonstrated impressive empirical performance. In this work, we shed light on the machinery behind Bayesian variants of these methods. In particular, we study Bayesian regression histograms, such as Bayesian dyadic trees, in the simple regression case with just one predictor. We focus on the reconstruction of regression surfaces that are piecewise constant, where the number of jumps is unknown. We show that with suitably designed priors, posterior distributions concentrate around the true step regression function at a near-minimax rate. These results do not require the knowledge of the true number of steps, nor the width of the true partitioning cells. Thus, Bayesian dyadic regression trees are fully adaptive and can recover the true piecewise regression function nearly as well as if we knew the exact number and location of jumps. Our results constitute the first step towards understanding why Bayesian trees and their ensembles have worked so well in practice. As an aside, we discuss prior distributions on balanced interval partitions and how they relate to an old problem in geometric probability. Namely, we relate the probability of covering the circumference of a circle with random arcs whose endpoints are confined to a grid, a new variant of the original problem.

연구 동기 및 목표

• 베이지안 회귀 트리와 앙상블의 강력한 경험적 성능에 대한 최초의 이론적 근거를 제공하기 위해.
• 모르는 단계 함수 구조 하에서 베이지안 회귀 히스토그램과 이진수 트리의 사후 농도 속도를 연구하기 위해.
• 진짜 조각별 일정한 회귀 함수 주위로 사후 분포가 거의 최적의 속도로 수렴하는 조건을 확립하기 위해.
• 모르는 점프 수와 위치에 자동 적응이 가능한 복잡도 페널티 사전 분포를 개발하기 위해.
• 균형 잡힌 분할에 대한 사전 분포를 원주 위의 랜덤 호의 커버링 문제와 연결하기 위해.

제안 방법

• 점프 수에 대한 복잡도 페널티를 부여한 단계 함수에 대한 계층적 사전 분포를 제안한다.
• 점프 수에 대한 사전 분포를 지수적으로 감소시키며, 자동 모델 선택을 보장한다.
• 관측된 데이터 포인트에서의 분할을 포함하는 균형 잡힌 간격 분할 위에 균일 사전 분포를 적용하여 일반적인 트리 구조를 가능하게 한다.
• 진짜 데이터 생성 모델 하에서 빈도주의 사후 농도 이론을 사용하여 사후 농도 속도를 유도한다.
• 근사 최적의 농도 속도를 보장하기 위해 사전 분포와 진짜 함수에 대한 조건을 설정한다.
• 균형 잡힌 분할에서 간격 길이의 분포를 원주 위의 랜덤 호 커버링 문제의 새로운 변형과 연결한다.

실험 결과

연구 질문

• RQ1 진짜 점프 수를 알지 못하는 상황에서 베이지안 이진수 트리가 조각별 일정한 회귀 함수에 대해 근사 최소최대 사후 농도 속도를 달성할 수 있는가?
• RQ2 점프 수에 대한 복잡도 페널티 사전 분포는 점프 위치와 수가 알려지지 않은 상황에서 어떻게 자동 적응을 가능하게 하는가?
• RQ3 관측된 데이터 포인트에서의 분할에 대해 균일 사전 분포를 사용할 경우 사후 농도 성능에 어떤 영향을 미치는가?
• RQ4 사후 농도 속도는 진짜 회귀 함수의 매끄러움과 변동성에 따라 어떻게 달라지는가?
• RQ5 균형 잡힌 분할에 대한 사전 분포와 원주를 무작위 호로 커버하는 기하 확률 문제 사이의 연결 고리는 무엇인가?

주요 결과

• 사후 농도 속도가 $ n^{-1/2} \sqrt{K_{f_0} \log(n/K_{f_0})} $ 의 순서로 발생하며, 이는 거의 최소최대 최적이다.
• 진짜 점프 수 $ K_{f_0} $ 가 알려져 있지 않은 상황에서도 이 속도로 사후 분포가 수렴함을 보여주며, 완전한 적응성을 입증한다.
• 조정이 필요 없는 복잡도 사전 분포 하에서도 결과가 성립하며, 추천 기본값로 $ c_K = 1 $ 이 제안된다.
• 점프 크기가 유계인 함수의 경우, $ K_{f_0} \lesssim \sqrt{n} $ 이면 속도가 여전히 최적이다.
• $ K_{f_0} \gtrsim \sqrt{n} $ 일 경우 속도는 $ n^{-1/2} \sqrt{K_{f_0} \log n} $ 로 느려지지만, 여전히 근사 최적이다.
• 균형 잡힌 분할에 대한 사전 분포는 기하 확률 문제와 새로운 연결 고리를 형성한다: 간격 길이의 분포는 격자 위의 원주를 랜덤 호로 커버할 확률과 대응된다.