[논문 리뷰] Multiple decision trees

Suk Wah Kwok, Chris Carter|arXiv (Cornell University)|2013. 03. 27.

Data Mining Algorithms and Applications참고 문헌 8인용 수 10

한 줄 요약

이 논문은 분류 성능을 향상시키기 위해 수정된 ID3 알고리즘을 사용해 훈련된 다수의 결정 트리의 예측을 평균화하는 방법을 제안한다. 구조가 서로 다른 고품질 트리의 소수 집합에 초점을 맞추어, 표준 ID3 트리와 비교해 두 도메인에서 더 높은 정확도를 달성함으로써, 전체 베이지안 모델 평균화를 수행하지 않고도 앙상블 평균화의 효과성을 입증한다.

ABSTRACT

This paper describes experiments, on two domains, to investigate the effect of averaging over predictions of multiple decision trees, instead of using a single tree. Other authors have pointed out theoretical and commonsense reasons for preferring the multiple tree approach. Ideally, we would like to consider predictions from all trees, weighted by their probability. However, there is a vast number of different trees, and it is difficult to estimate the probability of each tree. We sidestep the estimation problem by using a modified version of the ID3 algorithm to build good trees, and average over only these trees. Our results are encouraging. For each domain, we managed to produce a small number of good trees. We find that it is best to average across sets of trees with different structure; this usually gives better performance than any of the constituent trees, including the ID3 tree.

연구 동기 및 목표

• 다수의 결정 트리에서 예측을 평균화하는 것이 단일 트리 모델보다 성능을 향상시키는지 조사하기 위해.
• 가능한 트리의 수가 매우 많기 때문에 모든 트리에 대한 정확한 베이지안 모델 평균화를 계산하는 것이 비현실적임을 해결하기 위해.
• 모든 트리에 대한 전체 모델 평균화를 피하기 위해, 고품질이면서 구조가 서로 다른 소수의 트리만 선택하고 평균화하는 실용적인 대안을 개발하기 위해.
• 트리의 다양성이 개별 트리 정확도를 초월해 앙상블 성능을 향상시키는지 평가하기 위해.
• 실제 도메인에서 실행 가능하고 효과적인 접근 방식의 타당성과 효능을 입증하기 위해.

제안 방법

• 다양하고 고성능인 트리를 유도하기 위해 수정된 ID3 알고리즘을 사용해 다수의 결정 트리를 생성한다.
• 모든 가능한 트리의 확률을 추정하는 대신, 수정된 ID3 과정을 통해 식별된 관리 가능한 양의 좋은 트리 집합에 집중한다.
• 선택된 트리들의 예측을 평균화하여 최종 앙상블 출력을 도출한다.
• 다양한 분할 기준이나 훈련 절차를 변경하여 서로 다른 구조를 가진 트리를 생성함으로써 트리의 다양성을 장려한다.
• 두 개의 벤치마크 도메인에서 표준 ID3 트리 포함한 개별 트리와의 성능을 비교한다.
• 모든 가능한 트리에 대한 확률 추정이 필요 없도록 하여 전체 베이지안 모델 평균화를 피한다.

실험 결과

연구 질문

• RQ1 다수의 결정 트리에서 예측을 평균화하는 것이 단일 트리보다 분류 정확도를 향상시키는가?
• RQ2 앙상블의 성능이 구성 트리의 구조적 다양성에 의존하는가?
• RQ3 모든 가능한 트리에 대한 전체 베이지안 평균화를 계산하지 않고도 효과적인 앙상블 학습을 달성하는 것이 가능한가?
• RQ4 앙상블의 성능은 개별 ID3 트리 및 기타 단일 트리와 비교해 어떻게 되는가?
• RQ5 소수의 고품질이면서 다양한 트리들이 집합 내의 어떤 단일 트리보다도 더 좋은 성능을 낼 수 있는가?

주요 결과

• 다양한 구조를 가진 다수의 트리에서 예측을 평균화하는 것은 표준 ID3 트리를 포함한 어떤 개별 트리보다도 일관되게 높은 성능을 보였다.
• 앙상블 방법은 평가된 두 도메인 모두에서 집합 내 최고의 단일 트리보다 더 높은 정확도를 달성했다.
• 성능 향상은 트리 간의 구조적 다양성 덕분이었으며, 이는 다양성이 일반화 능력을 향상시킨다는 것을 시사한다.
• 수정된 ID3 알고리즘이 효과적으로 앙상블 평균화에 적합한 소수의 고품질 트리를 성공적으로 생성했다.
• 모든 트리에 대한 확률 추정이 불가능한 문제를 피하면서도 전체 베이지안 모델 평균화의 실용적 대안을 제공했다.
• 결과는 유망했으며, 실세계 분류 과제에서 이 앙상블 방법의 타당성을 입증했다.