[논문 리뷰] Efficient Bayesian Decision Tree Algorithm

Giuseppe Nuti, Lluís Antoni Jiménez Rugama외 1명|arXiv (Cornell University)|2019. 01. 10.

Bayesian Modeling and Causal Inference인용 수 1

한 줄 요약

이 논문은 마르코프 체인 몬테카를로(MCMC) 및 프루닝을 회피하기 위해 수치 예제에서 대부분의 정보를 담고 있는 탐욕적 모드 트리(GMT)에 초점을 맞춘 새로운 베이지안 결정 트리 알고리즘을 제안한다. 이 방법은 랜덤 포레스트 수준의 성능을 달성하면서도 회귀 및 분류 과제에서 확률적 해석 가능성을 유지한다.

ABSTRACT

Bayesian Decision Trees are known for their probabilistic interpretability. However, their construction can sometimes be costly. In this article we present a general Bayesian Decision Tree algorithm applicable to both regression and classification problems. The algorithm does not apply Markov Chain Monte Carlo and does not require a pruning step. While it is possible to construct a weighted probability tree space we find that one particular tree, the greedy-modal tree (GMT), explains most of the information contained in the numerical examples. This approach seems to perform similarly to Random Forests.

연구 동기 및 목표

• 회귀 및 분류 과제를 위한 계산적으로 효율적인 베이지안 결정 트리 알고리즘을 개발하기 위해.
• 베이지안 트리 구축 과정에서 마르코프 체인 몬테카를로(MCMC) 샘플링이 필요 없도록 하기 위해.
• 다수의 정보를 담고 있는 단일 대표 트리를 식별하여 명시적 프루닝 단계를 피하기 위해.
• 전체 트리 공간을 효과적으로 대표할 수 있는 단일 트리, 즉 탐욕적 모드 트리(GMT)가 존재하는지 평가하기 위해.
• 제안된 방법의 성능를 랜덤 포레스트와 같은 기존 앙상블 방법과 비교하기 위해.

제안 방법

• 알고리즘은 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용하지 않고 베이지안 결정 트리를 구축한다.
• 가중치가 부여된 확률 트리 공간에서 탐욕적 모드 트리(GMT)를 지배적인 트리로 식별한다.
• 후행 확률을 최대화하는 탐욕적 최적화 과정을 통해 GMT를 도출한다.
• 트리 공간의 대부분의 정보를 대표하는 GMT에 의존함으로써 프루닝을 피하는 방법을 사용한다.
• 확률적 프레임워크를 사용하여 회귀 및 분류 문제에 적용한다.
• 트리 공간은 가중치를 통해 탐색되지만, 전체 샘플링이 아닌 가장 확률이 높은 단일 트리(GMT)에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 마르코프 체인 몬테카를로(MCMC) 샘플링 없이 베이지안 결정 트리를 효율적으로 구축할 수 있는가?
• RQ2 베이지안 결정 트리에서 단일 트리인 탐욕적 모드 트리(GMT)가 전체 트리 공간을 충분히 대표할 수 있는가?
• RQ3 GMT 기반 방법의 성능는 회귀 및 분류 과제에서 랜덤 포레스트와 비교해 어떻게 되는가?
• RQ4 가장 확률이 높은 트리에 초점을 맞춤으로써 베이지안 결정 트리에서 프루닝이 필요 없어질 수 있는가?
• RQ5 GMT는 전체 가중치가 부여된 트리 공간의 정보 내용을 어느 정도 잘 포괄하는가?

주요 결과

• 탐욕적 모드 트리(GMT)는 수치 예제 전반에서 가중치가 부여된 확률 트리 공간에 포함된 대부분의 정보를 담고 있다.
• 제안된 알고리즘은 MCMC나 프루닝을 사용하지 않으면서도 랜덤 포레스트 수준의 성능를 달성한다.
• MCMC 및 프루닝 단계를 제거함으로써 계산적으로 효율적인 방법이다.
• GMT는 트리 공간의 충분한 요약으로 기능하여 복잡성을 줄이면서도 예측 정확도를 유지한다.
• 확률적 해석 가능성을 유지하는 것은 표준 결정 트리와의 주요 차이점이다.
• 알고리즘은 일관된 성능를 보이며, 회귀 및 분류 문제에 모두 적용 가능하다.