[논문 리뷰] Exploring the Decision Forest: An Empirical Investigation of Occam's Razor in Decision Tree Induction

Patrick M. Murphy, Michael J. Pazzani|ArXiv.org|1994. 03. 01.

Explainable Artificial Intelligence (XAI)인용 수 13

한 줄 요약

이 논문은 병렬 컴퓨팅 시스템을 사용하여 훈련 데이터와 일치하는 모든 결정 트리를 체계적으로 생성함으로써 결론 트리 유도에서 오카무의 면도의 원칙을 경험적으로 조사한다. 단순한 트리가 더 정확하다는 원칙과는 달리, 다양한 인위적 및 실세계 데이터셋에서 평균적으로 약간 더 큰 일관된 트리가 테스트 정확도에서 더 뛰어난 것으로 나타났다.

ABSTRACT

We report on a series of experiments in which all decision trees consistent with the training data are constructed. These experiments were run to gain an understanding of the properties of the set of consistent decision trees and the factors that affect the accuracy of individual trees. In particular, we investigated the relationship between the size of a decision tree consistent with some training data and the accuracy of the tree on test data. The experiments were performed on a massively parallel Maspar computer. The results of the experiments on several artificial and two real world problems indicate that, for many of the problems investigated, smaller consistent decision trees are on average less accurate than the average accuracy of slightly larger trees.

연구 동기 및 목표

• 결정 트리 크기와 일반화 정확도 간의 관계를 조사하기 위해.
• 오카무의 면도에 따라 더 작은 결정 트리가 더 큰 트리보다 항상 더 정확한가를 검토하기 위해.
• 훈련 데이터와 일치하는 전체 결정 트리의 구조와 특성들을 탐구하기 위해.
• 병렬 아키텍처를 사용한 체계적 탐색을 통해 트리 복잡도가 예측 성능에 미치는 영향을 평가하기 위해.
• 결정 트리 학습에서 오카무의 면도의 타당성에 대한 경험적 증거를 제공하기 위해.

제안 방법

• 훈련 데이터와 일치하는 모든 결정 트리를 체계적으로 탐색하기 위해 대규모 병렬 Maspar 컴퓨터를 사용하여 일관된 트리의 완전한 열거를 수행하였다.
• 훈련 예제를 완벽하게 맞추는 가능한 모든 트리를 식별하기 위해 검색 공간을 체계적으로 탐색하였다.
• 트리 크기는 내부 노드의 수로 측정하였으며, 정확도는 독립된 테스트 세트에서 평가하였다.
• 일반화 가능성 평가를 위해 인위적 및 실세계 데이터셋 모두에서 실험을 수행하였다.
• 통계 분석을 통해 다양한 크기의 트리의 평균 테스트 정확도를 비교하였다.
• 모든 일관된 트리를 열거하는 데 기인한 지수적 복잡도를 처리하기 위해 병렬 계산을 활용하였다.

실험 결과

연구 질문

• RQ1 훈련 데이터와 일치하는 더 작은 결정 트리는 더 큰 일관된 트리보다 일반화 성능이 뛰어나게 되는가?
• RQ2 주어진 데이터셋에 대해 일관된 모든 결정 트리 집합에서 정확도의 분포는 어떠한가?
• RQ3 실제로 트리 크기와 테스트 세트 정확도 사이의 상관관계는 어떠한가?
• RQ4 모든 일관된 트리를 고려할 때 결론 트리 유도에서 오카무의 면도가 어느 정도 유지되는가?
• RQ5 다양한 데이터셋에서 작은 트리와 더 큰 트리 간의 성능에 체계적인 차이가 있는가?

주요 결과

• 연구된 많은 문제들에서, 더 작은 일관된 결정 트리는 평균적으로 약간 더 큰 트리보다 정확도가 떨어졌다.
• 인위적 및 실세계 데이터셋 양쪽에서 더 큰 일관된 트리의 평균 정확도가 더 작은 트리의 정확도를 초월하였다.
• 일관된 트리의 성능가 감소하는 크기와 함께 단조롭게 향상되지 않아 오카무의 면도와 정면으로 배치되었다.
• 일관된 트리 집합은 테스트 정확도에서 상당한 변동성을 보였으며, 작은 트리가 명백히 우세하지는 않았다.
• 결과적으로, 단순성에 대한 인덕티브 편향이 모든 일관된 트리를 고려할 때 최적은 아닐 수 있음을 시사한다.
• 이 연구는 병렬 아키텍처에서 일관된 트리에 대한 체계적 탐색이 가능하며, 일반화 성능에 비정상적인 패턴을 드러낸다.