[논문 리뷰] A Bayesian Decision Tree Algorithm

Giuseppe Nuti, Lluís Antoni Jiménez Rugama외 1명|arXiv (Cornell University)|2019. 01. 10.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 7

한 줄 요약

이 논문은 랜덤 포레스트 수준의 정확도를 달성하면서도 마르코프 체인 몬테카를로(MCMC) 또는 가지치기 없이 단일의 얕은 트리로 작동하는 베이지안 의사결정트리 알고리즘인 게으른 모달 트리(GMT)를 제안한다. 각 단계에서 가장 가능성이 높은 분할을 선택하면서 트리 생성을 확률적으로 모델링함으로써, GMT는 높은 해석 가능성과 분류 작업에서의 경쟁력 있는 성능을 제공한다.

ABSTRACT

Bayesian Decision Trees are known for their probabilistic interpretability. However, their construction can sometimes be costly. In this article we present a general Bayesian Decision Tree algorithm applicable to both regression and classification problems. The algorithm does not apply Markov Chain Monte Carlo and does not require a pruning step. While it is possible to construct a weighted probability tree space we find that one particular tree, the greedy-modal tree (GMT), explains most of the information contained in the numerical examples. This approach seems to perform similarly to Random Forests.

연구 동기 및 목표

• 랜덤 포레스트와 같은 앙상블 방법과 비교해도 높은 예측 정확도를 유지하면서도 완전히 설명 가능한 기계학습 모델을 개발하는 것.
• 베이지안 의사결정트리 구축 시 계산 비용이 많이 드는 마르코프 체인 몬테카를로(MCMC) 샘플링과 히우리스틱 가지치기의 필요성을 제거하는 것.
• 모델 선택을 위한 마진형 우도 최대화를 통해 원리적으로 타당한 프레임워크를 제공하는 트리 생성의 확률적 프레임워크를 제공하는 것.
• 금융 및 헬스케어와 같은 고위험 분야에서 앙상블 모델의 대안으로 단일 해석 가능한 트리가 실현 가능한지 탐색하는 것.
• 사전 분포 설정과 스무딩이 모델 성능과 일반화 능력에 미치는 영향을 조사하는 것.

제안 방법

• 특성 차원과 분할 위치를 기반으로 한 재귀적 분할 규칙을 사용하여 모든 가능한 트리 분할에 대한 확률 공간을 구성한다.
• 각 노드가 깊이에 따라 고정 확률로 확장되는 확률적 과정으로 트리 생성 과정을 모델링한다.
• 카테고리 결과에 대해 베타 분포를 공액 사전분포로 사용하여 각 분할에 대한 우도를 해석적으로 계산할 수 있도록 한다.
• 각 리프에 속한 모든 데이터 포인트의 우도를 곱하고 사전분포에 대해 통합하여 각 분할의 마진형 우도를 계산한다.
• 각 단계에서 가장 높은 마진형 우도를 가진 분할을 선택하여 게으른 모달 트리(GMT)를 최적의 트리로 선정한다.
• 지역 데이터 카운트에 따라 사전 농도 파라미터를 조정함으로써 스무딩 기법을 적용하여 사후 추정치의 분산을 줄인다.

실험 결과

연구 질문

• RQ1 MCMC나 가지치기가 없이도 단일의 베이지안 의사결정트리가 랜덤 포레스트 수준의 예측 성능을 달성할 수 있는가?
• RQ2 다양한 벤치마크 데이터셋에서 게으른 모달 트리(GMT)의 성능이 기존 의사결정트리와 랜덤 포레스트와 비교해 어떻게 되는가?
• RQ3 사전 분포 설정(예: Beta(10,10))가 모델 정확도에 어떤 영향을 미치며, 적응형 사전분포가 일반화 능력을 향상시킬 수 있는가?
• RQ4 제안된 스무딩 기법이 데이터가 희소한 영역에서 모델 안정성 향상과 과적합 감소에 얼마나 기여하는가?
• RQ5 GMT 프레임워크를 회귀 과제와 SVM 초평면으로 정의된 더 큰 분할 공간으로 확장할 수 있는가?

주요 결과

• 심장(Heart) 데이터셋에서 GMT는 평균 83.0%의 정확도를 기록하여 DT(76.3%)를 능가하고 RF(78.5%)와 동등한 성능을 보였다.
• 신용(Credit) 데이터셋에서 GMT는 82.0%의 정확도를 달성하여 DT(72.6%)와 RF(78.1%)보다 3.9%p 높은 성능을 보였다.
• 지진(Seismic) 데이터셋에서 GMT는 93.2%의 정확도를 기록하여 RF(91.5%)를 1.7%p 뛰어넘었다.
• EEG 데이터셋에서는 GMT가 DT와 RF보다 성능이 열등하여 81.2%의 정확도를 기록한 반면, RF는 88.6%를 기록하여 복잡한 저수준 패턴을 포착하는 데 한계를 보였다.
• GMT의 학습 시간은 RF보다 항상 짧았으며, Credit 데이터셋에서 823.2ms로 RF의 1388.4ms보다 빠른 것으로 나타나 계산 효율성을 입증했다.
• δ=0.1로 설정한 스무딩 기법은 리플리 테스트 세트에서 사후 추정치의 분산을 줄였으며, δ=0일 때보다 더 매끄러운 확률 추정치가 관찰되었다.