[논문 리뷰] On Theory for BART

Veronika Ročková, Enakshi Saha|arXiv (Cornell University)|2018. 10. 01.

Bayesian Methods and Mixture Models참고 문헌 35인용 수 4

한 줄 요약

이 논문은 이질적 갈턴-워슨 분열 과정을 통해 BART의 정확한 사전분포를 분석하여 베이지안 덧셈 회귀 트리(BART) 방법의 이론적 최적성을 확립한다. 수정된 사전분포를 도입함으로써 최적의 사후 농도 수렴 속도를 달성하였으며, 정규성 조건 하에서 BART가 최소 최대 수렴 속도를 달성함을 증명한다.

ABSTRACT

Ensemble learning is a statistical paradigm built on the premise that many weak learners can perform exceptionally well when deployed collectively. The BART method of Chipman et al. (2010) is a prominent example of Bayesian ensemble learning, where each learner is a tree. Due to its impressive performance, BART has received a lot of attention from practitioners. Despite its wide popularity, however, theoretical studies of BART have begun emerging only very recently. Laying the foundations for the theoretical analysis of Bayesian forests, Rockova and van der Pas (2017) showed optimal posterior concentration under conditionally uniform tree priors. These priors deviate from the actual priors implemented in BART. Here, we study the exact BART prior and propose a simple modification so that it also enjoys optimality properties. To this end, we dive into branching process theory. We obtain tail bounds for the distribution of total progeny under heterogeneous Galton-Watson (GW) processes exploiting their connection to random walks. We conclude with a result stating the optimal rate of posterior convergence for BART.

연구 동기 및 목표

• 정확한 BART 사전분포에 대한 이론적 기초가 부족한 데서 비롯된 문제를 다루기 위해, 이전의 최적 사후 농도 수렴 결과에서 사용된 사전분포와 다름을 분석한다.
• 실제 BART 구현과 이론적 보장 사이의 격차를 메우기 위해 BART에서 실제로 사용되는 사전분포를 분석한다.
• 실제 구현의 장점을 유지하면서도 최적의 사후 농도 수렴 속도를 달성할 수 있도록 수정된 사전분포를 개발한다.
• 분열 과정 이론 도구를 활용하여 BART의 최적 사후 수렴 속도를 확립한다.

제안 방법

• 논문은 BART 사전분포를 이질적 갈턴-워슨 분열 과정으로 모델링하여 트리 크기와 후손 분포를 분석한다.
• 랜덤 워크 이론과의 연결을 통해 이질적 갈턴-워슨 과정의 총 후손 수에 대한 尾함수 경계를 유도한다.
• 생산함수와 모멘트 생성 함수를 활용하여 BART 사전분포 하에서 트리 성장의 확률적 행동을 특성화한다.
• 사후 농도 수렴 속도가 최소 최대 최적 속도와 일치하도록 보장하는 수정된 사전분포를 제안한다.
• 트리 구조를 분열 과정의 성질, 특히 멸종 확률과 인구 수 분포와 연결하여 이론적 결과를 도출한다.
• 트리 크기의 확률적 경계와 회귀 함수에 대한 정규성 조건을 결합하여 사후 농도 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 표준 부드러움 가정 하에서 정확한 BART 사전분포가 최적의 사후 농도 수렴 속도를 달성할 수 있는가?
• RQ2 이전 이론적 연구에서 사용된 조건부 균일 사전분포와 비교해 볼 때, 실제 BART 사전분포 하에서 트리 크기의 분포는 어떻게 다른가?
• RQ3 실제 구현 성질을 유지하면서 최적의 사후 농도 수렴을 달성하기 위해 BART 사전분포에 어떤 수정이 필요한가?
• RQ4 이질적 갈턴-워슨 과정은 BART 트리의 복잡성을 어떻게 특성화하는가?
• RQ5 실제 사전분포 하에서 BART의 최적 사후 수렴 속도는 무엇이며, 이를 달성할 수 있는가?

주요 결과

• 논문은 원래 BART 사전분포가 트리 크기의 특정 분포적 성질로 인해 최적의 사후 농도 수렴을 달성하지 못함을 입증한다.
• 헤일더-스무쓰한 회귀 함수 하에서 최소 최대 속도로 최적의 사후 농도 수렴을 보장하는 수정된 BART 사전분포를 제안한다.
• 이질적 갈턴-워슨 과정의 총 후손 수에 대한 尾함수 경계를 도출하여 트리 복잡도를 정밀하게 제어할 수 있다.
• BART의 최적 사후 농도 수렴 속도가 최소 최대 속도임을 입증하여, 알려지지 않은 부드러움에 대한 적응성(아답티브니스)을 확인한다.
• 분석을 통해 사전분포가 적절히 수정될 경우 BART의 이론적 성능이 엄밀히 정당화될 수 있음을 확인한다.