[논문 리뷰] On the Optimality of Trees Generated by ID3

Alon Brutzkus, Amit Daniely외 1명|arXiv (Cornell University)|2019. 07. 11.

Machine Learning and Data Classification참고 문헌 20인용 수 8

한 줄 요약

이 논문은 ID3가 생성한 의사결정나무의 최적성 평가를 위한 새로운 척도인 평균 반복 통계적 일致성(MIC)을 제안한다. 이는 이론적으로도 실험적으로도 TopDown 버전의 ID3가 제품 분포 하에서 독한 번째 DNF를 학습할 때 최적에 가까운 MIC를 달성하며, 널리 사용되는 BestFirst 버전보다 뛰어난 성능을 보임을 보여준다. 이는 BestFirst 버전이 상당히 최적이 아닌 MIC를 보이며, 테스트 성능도 열 劣하다.

ABSTRACT

Since its inception in the 1980s, ID3 has become one of the most successful and widely used algorithms for learning decision trees. However, its theoretical properties remain poorly understood. In this work, we introduce a novel metric of a decision tree algorithm's performance, called mean iteration statistical consistency (MIC), which measures optimality of trees generated by ID3. As opposed to previous metrics, MIC can differentiate between different decision tree algorithms and compare their performance. We provide theoretical and empirical evidence that the TopDown variant of ID3, introduced by Kearns and Mansour (1996), has near-optimal MIC in various settings for learning read-once DNFs under product distributions. In contrast, another widely used variant of ID3 has MIC which is not near-optimal. We show that the MIC analysis predicts well the performance of these algorithms in practice. Our results present a novel view of decision tree algorithms which may lead to better and more practical guarantees for these algorithms.

연구 동기 및 목표

• ID3의 다양한 알고리즘 간 실용적 성능 차이를 예측할 수 있는 이론적 척도의 부족 문제를 해결하기 위해.
• 각 반복 단계에서 ID3가 생성한 나무의 테스트 오차가 동일 크기의 최적 나무와 얼마나 가까운지를 평가할 수 있는 새로운 성능 척도인 평균 반복 통계적 일치성(MIC)을 개발하기 위해.
• 제품 분포와 균일 분포 하에서 독한 번째 DNF를 학습할 때 TopDown 및 BestFirst 버전의 ID3 간 MIC를 비교하기 위해.
• TopDown이 근사 최적의 MIC를 달성하고, BestFirst는 그렇지 않으며, 이는 실제 테스트 성능을 예측할 수 있음을 이론적이고 실험적으로 입증하기 위해.

제안 방법

• 각 반복 단계에서 ID3가 생성한 나무의 테스트 오차와 동일 크기의 최적 나무의 테스트 오차 간 차이를 측정하는 척도로 평균 반복 통계적 일치성(MIC)을 제안한다.
• 도달 확률에 기반한 가중치가 부여된 정보 이득 감소량을 기반으로 분할할 리프 노드를 선택하는 ID3의 TopDown 버전을 도입하고 분석한다.
• 제품 분포 하에서 독한 번째 DNF의 최적 테스트 오차를 계산하기 위한 새로운 동적 프로그래밍 알고리즘을 설계하여 정확한 MIC 계산을 가능하게 한다.
• 다양한 훈련 세트 크기에서 균일 분포와 제품 분포 하에서 TopDown 및 BestFirst 알고리즘을 유한 샘플에 대해 구현하고 비교한다.
• 이론적 분석과 실험적 평가를 병행하여 다양한 설정에서의 MIC 및 테스트 오차 성능을 비교한다.
• 다양한 파라미터를 가진 베르누이 분포 하에서 10개의 항과 38개의 변수를 가진 독한 번째 DNF에 대해 이 척도를 적용한다.

실험 결과

연구 질문

• RQ1 제품 분포 하에서 독한 번째 DNF를 학습할 때 ID3의 TopDown 버전이 근사 최적의 MIC를 달성하는가?
• RQ2 BestFirst의 MIC는 TopDown과 비교해 어떻게 되며, 이는 열 劣한 테스트 성능을 예측하는가?
• RQ3 MIC는 의사결정나무 알고리즘의 실용적 테스트 오차 성능을 신뢰할 만한 예측 도구로 사용할 수 있는가?
• RQ4 특정 설정, 예를 들어 논리곱이나 두 항의 DNF를 학습할 때 TopDown의 우수한 MIC 성능에 대해 이론적 근거가 존재하는가?
• RQ5 기존 일반화 경계가 이를 구분하지 못할 때, MIC는 알고리즘 변종 간의 차이를 얼마나 잘 구분하는가?

주요 결과

• 제품 분포 하에서 논리곱을 학습할 때 TopDown은 근사 최적의 MIC를 달성하며, 최적성에 대한 이론적 증명이 존재한다.
• 균일 분포 하에서 두 항의 독한 번째 DNF를 학습할 때도 TopDown은 이론적으로 근사 최적의 MIC를 달성한다.
• 이론적 및 실험적 분석을 통해 BestFirst는 근사 최적의 MIC를 달성하지 못하며, 실험적으로 상당히 열 劣한 테스트 오차를 보인다.
• MIC 척도는 실세계 성능을 성공적으로 예측한다: 모든 테스트 세트 크기(50에서 50,000개 샘플)에서 TopDown은 BestFirst보다 테스트 오차에서 뛰어난 성능을 보였다.
• 동적 프로그래밍 알고리즘을 통해 제품 분포 하에서 독한 번째 DNF의 최적 테스트 오차를 정확하게 계산할 수 있어 정밀한 MIC 평가가 가능해졌다.
• MIC는 주어진 설정에서 특정 의사결정나무 알고리즘이 최적 알고리즘으로부터 얼마나 떨어져 있는지를 의미 있는 척도로 제공하며, 알고리즘 개선에 실질적인 통찰을 제공한다.