[논문 리뷰] Improved Information Gain Estimates for Decision Tree Induction

Sebastian Nowozin|arXiv (Cornell University)|2012. 06. 18.

Neural Networks and Applications참고 문헌 28인용 수 43

한 줄 요약

이 논문은 기존의 엔트로피 추정에서 발생하는 편향을 보정하기 위해 개선된 이산 엔트로피 및 미분 엔트로피 추정기법을 사용하여 의사결정나무 유도에서 정보 이득 추정을 향상시킨다. 이로 인해 구현 오버헤드를 최소화하면서도 예측 성능이 향상된다. 이 방법은 정보 이론적 점수의 추정 편향을 줄임으로써 분류 및 회귀 나무 학습을 모두 향상시킨다.

ABSTRACT

Ensembles of classification and regression trees remain popular machine learning methods because they define flexible non-parametric models that predict well and are computationally efficient both during training and testing. During induction of decision trees one aims to find predicates that are maximally informative about the prediction target. To select good predicates most approaches estimate an information-theoretic scoring function, the information gain, both for classification and regression problems. We point out that the common estimation procedures are biased and show that by replacing them with improved estimators of the discrete and the differential entropy we can obtain better decision trees. In effect our modifications yield improved predictive performance and are simple to implement in any decision tree code.

연구 동기 및 목표

• 의사결정나무 유도에서 사용되는 표준 정보 이득 추정 절차의 편향 문제를 해결하기 위해.
• 이산 및 연속 목표 변수에 대해 엔트로피 추정을 개선하여 의사결정나무의 예측 성능을 향상시키기 위해.
• 기존 엔트로피 추정기의 단순한 플러그인 대체품을 개발하여 기존 의사결정나무 코드에 최소한의 변경으로 통합 가능하게 하기 위해.
• 편향 보정된 정보 이득이 분류 및 회귀 작업 모두에서 더 나은 일반화 성능을 이끌어내는지 입증하기 위해.

제안 방법

• 표준 최대우도 엔트로피 추정기 대신 이산 엔트로피 및 미분 엔트로피에 대한 편향 보정된 버전을 사용한다.
• 밀러-메도우 보정 및 편향 감소 기법을 기반으로 한 개선된 이산 엔트로피 추정기법을 적용한다.
• 커널 기반 또는 최근접이웃 접근법을 사용하여 편향 보정된 미분 엔트로피 추정을 수행한다.
• 분할 선택 단계에서 의사결정나무의 정보 이득 계산에 보정된 엔트로피 추정치를 통합한다.
• 복잡한 재학습 또는 모델 재구성 없이도 계산 효율성을 유지한다.
• 기존 아키텍처 변경 없이도 분류 및 회귀 나무 알고리즘에 모두 적용 가능한 개선된 정보 이득을 적용한다.

실험 결과

연구 질문

• RQ1 표준 정보 이득 추정에서의 편향은 의사결정나무 성능에 어떤 영향을 미치는가?
• RQ2 개선된 엔트로피 추정기법이 의사결정나무의 편향을 줄이고 예측 정확도를 향상시킬 수 있는가?
• RQ3 편향 보정된 엔트로피 추정이 분류 및 회귀 나무 유도에 어떤 영향을 미치는가?
• RQ4 기존 의사결정나무 구현에 개선된 추정기법을 통합하는 데 실용적인가?

주요 결과

• 제안된 편향 보정 정보 이득 추정기법은 표준 벤치마크 데이터셋에서 향상된 예측 성능을 보였다.
• 분할 선택 과정에서 편향된 엔트로피 추정으로 인한 과적합을 줄임으로써 일반화 성능이 향상됨을 확인했다.
• 분류 및 회귀 작업 모두에서 일관된 성능 향상이 나타나, 광범위한 적용 가능성을 입증했다.
• 코드 변경이 최소한이며 계산적으로 효율적이므로, 기존 의사결정나무 라이브러리에 통합하기에 적합하다.