[논문 리뷰] Information gain ratio correction: Improving prediction with more balanced decision tree splits

Antonin Leroux, Matthieu Boussard외 1명|arXiv (Cornell University)|2018. 01. 25.

Data Mining Algorithms and Applications참고 문헌 7인용 수 5

한 줄 요약

이 논문은 결정 트리 분할 시 과적합을 줄이기 위해 비균형 또는 정보가 적은 분할에 대한 편향을 보정하기 위해 수정된 이득 비율, 즉 균형 이득 비율을 제안한다. 분할 정보 페널티를 더 균형 잡힌 분할을 선호하도록 조정하여, 예측 정확도를 향상시키며, 특히 대규모 데이터셋에서 C4.5의 원래 이득 비율에 비해 트리 깊이와 계산 시간을 크게 감소시킨다.

ABSTRACT

Decision trees algorithms use a gain function to select the best split during the tree's induction. This function is crucial to obtain trees with high predictive accuracy. Some gain functions can suffer from a bias when it compares splits of different arities. Quinlan proposed a gain ratio in C4.5's information gain function to fix this bias. In this paper, we present an updated version of the gain ratio that performs better as it tries to fix the gain ratio's bias for unbalanced trees and some splits with low predictive interest.

연구 동기 및 목표

• 결정 트리 유도에서 퀸런의 이득 비율이 비균형 또는 정보가 적은 분할에 대해 보이는 편향을 해결하기 위해.
• 분할 중 더 균형 잡힌 트리 구조를 선호함으로써 예측 정확도를 향상시키기 위해.
• 분류 성능을 희생시키지 않으면서 트리 깊이와 계산 시간을 줄이기 위해.
• 실제 세계 데이터셋(UCI 레포지터리 소속)에서 수정된 이득 함수의 효과를 평가하기 위해.
• 수정이 고차원 카디널리티를 가진 분류 특성에 대한 과적합을 완화하고 일반화 능력을 향상시키는지 입증하기 위해.

제안 방법

• 균형 이득 비율은 Quinlan의 원래 이득 비율을 수정하여 분할 정보 항목에 비선형 보정 인자를 도입함으로써, 정보가 적지만 균형 잡힌 분할에 대해 페널티를 감소시킨다.
• 보정은 분할 정보에 곱셈 조정으로 적용되어 단조성을 유지하면서 분할 정보가 작을 경우 페널티를 감쇠시킨다.
• 수정된 이득 함수를 사용한다: $ \text{BalancedGainRatio}(S,C) = \frac{\text{Gain}(S,C)}{\text{SplitInform}(S,C)^{\alpha}} $, 여기서 $ \alpha $ 는 보정 강도를 제어하기 위해 학습하거나 고정된 파라미터이다.
• 10개의 UCI 데이터셋(수치형 및 범주형 특성 포함)을 대상으로 10×5 교차 검증을 수행하여 알고리즘을 평가한다.
• 일반화를 보장하고 과적합을 방지하기 위해 비관적 오차 가지치기를 적용한다.
• 정확도, 트리 깊이, 계산 효율성 등을 지표로 원래 C4.5 이득 비율과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 균형 이득 비율은 원래 이득 비율에 비해 비균형 또는 정보가 적은 분할에 대한 과적합을 줄이는가?
• RQ2 수정된 이득 함수는 대규모 데이터셋에서 예측 정확도를 얼마나 향상시키는가?
• RQ3 균형 이득 비율은 트리 깊이와 계산 효율성에 어떤 영향을 미치는가?
• RQ4 수정된 보정은 고차원 카디널리티를 가진 특성이 포함된 데이터셋에서도 성능을 유지하거나 향상시키는가?
• RQ5 균형 이득 비율은 소규모 데이터셋에 비해 대규모 데이터셋에서 더 효과적인가?

주요 결과

• BUPA 데이터셋에서 균형 이득 비율은 원래 C4.5 이득 비율 대비 정확도를 6.09%p 향상시켰다.
• Income 및 Bank와 같은 대규모 데이터셋에서 균형 이득 비율은 트리 깊이를 약 100에서 약 20으로 감소시켜 계산 속도를 크게 향상시켰다.
• Letter 데이터셋에서 균형 이득 비율은 원래 이득 비율 대비 87.40%의 정확도를 기록했으며, 이는 86.85%의 원래 이득 비율 대비 0.55% 향상된 성능이다.
• Heart 및 Survival과 같은 소규모 데이터셋에서는 균형 이득 비율이 약간의 성능 향상이나 오히려 약간의 성능 저하를 보였으며, 이는 소규모 트리에 대해서는 유의미한 이점이 없음을 시사한다.
• 범주형 특성에 대한 보정을 줄였음에도 불구하고, Income 및 Bank 데이터셋에서 균형 이득 비율은 여전히 원래 이득 비율을 능가했으며, 이는 강건성을 입증한다.
• 이 방법은 대부분의 데이터셋, 특히 대규모 데이터셋에서 더 짧고 균형 잡힌 트리를 지속적으로 생성하면서 정확도를 유지하거나 향상시켰다.