[논문 리뷰] Top-down particle filtering for Bayesian decision trees

Balaji Lakshminarayanan, Daniel M. Roy외 1명|arXiv (Cornell University)|2013. 03. 03.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 17

한 줄 요약

이 논문은 ID3 및 C4.5와 같은 고전적 탐욕적 트리 학습기와 유사하게 동작하는 베이지안 의사결정나무를 위한 상향식 순차 몬테카를로(SMC) 알고리즘을 제안한다. 입자 필터링과 재표본추출을 사용하여 사후 분포를 근사한다. 이는 최신 MCMC 방법과 비슷한 예측 정확도를 달성하면서도 10배 이상 빠른 성능을 보이며, 계산 속도와 정확도의 상호보완적 성능을 향상시킨다.

ABSTRACT

Decision tree learning is a popular approach for classification and regression in machine learning and statistics, and Bayesian formulations---which introduce a prior distribution over decision trees, and formulate learning as posterior inference given data---have been shown to produce competitive performance. Unlike classic decision tree learning algorithms like ID3, C4.5 and CART, which work in a top-down manner, existing Bayesian algorithms produce an approximation to the posterior distribution by evolving a complete tree (or collection thereof) iteratively via local Monte Carlo modifications to the structure of the tree, e.g., using Markov chain Monte Carlo (MCMC). We present a sequential Monte Carlo (SMC) algorithm that instead works in a top-down manner, mimicking the behavior and speed of classic algorithms. We demonstrate empirically that our approach delivers accuracy comparable to the most popular MCMC method, but operates more than an order of magnitude faster, and thus represents a better computation-accuracy tradeoff.

연구 동기 및 목표

• 기존의 반복적인 MCMC 업데이트 방식이 아닌, 고전적 알고리즘(ID3, C4.5 등)과 유사한 상향식 탐욕적 방식으로 베이지안 의사결정나무에 대한 추론 방법을 개발한다.
• 예측 정확도를 유지하면서도 베이지안 의사결정나무 학습의 계산 효율성을 향상시킨다.
• 재표본추출과 입자 기반 트리 성장을 지원하는 순차 몬테카를로(SMC) 프레임워크를 활용해 베이지안 의사결정나무에서 사후 근사를 가능하게 한다.
• 상향식 입자 필터링이 MCMC 기반의 베이지안 트리 학습과 경쟁 가능한 성능을 달성하면서도 훨씬 더 빠른가를 평가한다.

제안 방법

• 방법은 루트에서 시작하여 단계적으로 노드를 확장하는 방식으로, 상향식 탐욕적 방식으로 의사결정나무의 집단을 순차 몬테카를로(SMC) 프레임워크를 통해 샘플링한다.
• 각 단계에서 지역적 우도와 데이터 분할 기반의 제안 분포를 사용해 입자(나무)를 전진으로 전파하고, 높은 사후 확률을 가진 나무에 집중하기 위해 재표본추출을 수행한다.
• Chipman 등(1998)의 방법을 따르며, 각 블록 내 데이터 범위에 따라 의사결정나무에 대한 사전분포를 정의하여 나무의 복잡도를 규제한다.
• 두 가지 제안 전략을 평가한다: 단순하고 빠른 사전 제안과 더 정확하지만 느린 일단계 최적 제안이며, 성능의 상호보완적 특성을 분석한다.
• 각 노드에서 조건부 우도에 따라 트리 성장을 이끌며, 저우도 입자를 제거하고 더 잘 맞는 구조에 집중하기 위해 재표본추출을 사용한다.
• 명시적 가지치기를 피하기 위해 사전분포와 우도에 의존하여 나무 깊이를 자연스럽게 제한하고 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 상향식 입자 기반 SMC 알고리즘이 MCMC 기반의 베이지안 의사결정나무 추론과 비슷한 예측 정확도를 달성할 수 있는가?
• RQ2 제안된 SMC 방법이 기존 MCMC 접근법보다 뚜렷한 속도 우위를 보이며 사후 근사 품질을 유지하는가?
• RQ3 다양한 제안 분포(사전 대비 최적)가 베이지안 의사결정나무 학습에서 SMC 알고리즘의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 의사결정나무의 탐욕적이고 계층적인 구조를 활용함으로써 SMC 프레임워크가 MCMC보다 더 효율적으로 개선될 수 있는가?

주요 결과

• 제안된 SMC 알고리즘은 테스트 정확도와 로그 예측 우도를 측정했을 때, 베이지안 의사결정나무에 대한 가장 널리 사용되는 MCMC 방법과 비슷한 예측 정확도를 달성한다.
• SMC 방법은 MCMC 기준선보다 10배 이상 빠르게 실행되어 계산 속도-정확도의 상호보완적 성능이 뛰어나다.
• 일단계 최적 제안은 입자당 수렴 속도를 향상시키지만 전체적으로 너무 계산 비용이 높아져, 특히 불필요한 특성이 적은 데이터셋에서는 더욱 그렇다.
• 다중 노드를 동시에 확장하는 것은 성능을 떨어뜨리며, 순차적 확장 방식이 더 효과적임을 시사한다.
• 더 정교한 노드 선택 전략은 성능 향상에 기여하지 않아, 효과적인 입자 전파를 위해 단순 히ュ리스틱 전략으로도 충분함을 시사한다.
• CART 알고리즘을 정확도에 맞게 튜닝하고 라플라스 보정을 적용한 경우조차도, 베이지안 SMC 접근법이 로그 예측 우도 측면에서 더 뛰어난 성능을 보였다.