[논문 리뷰] Unifying Decision Trees Split Criteria Using Tsallis Entropy

Yisen Wang, Chaobing Song외 1명|arXiv (Cornell University)|2015. 11. 25.

Statistical Mechanics and Entropy인용 수 8

한 줄 요약

이 논문은 조정 가능한 매개변수 $q$ 를 통해 샤논 엔트로피, 지니 계수, 게인 비율을 일반화하는 투사 엔트로피를 사용한 통합된 决定 트리 분할 기준을 제안한다. 투사 엔트로피 기준(TeC) 알고리즘은 UCI 데이터셋에서 ID3, CART, C4.5와 같은 전통적 알고리즘보다 통계적으로 유의미한 평균 4%의 정확도 향상을 달성하며, 최적의 $q$ 값은 데이터에 따라 변화하는 경향을 보인다.

ABSTRACT

The construction of efficient and effective decision trees remains a key topic in machine learning because of their simplicity and flexibility. A lot of heuristic algorithms have been proposed to construct near-optimal decision trees. ID3, C4.5 and CART are classical decision tree algorithms and the split criteria they used are Shannon entropy, Gain Ratio and Gini index respectively. All the split criteria seem to be independent, actually, they can be unified in a Tsallis entropy framework. Tsallis entropy is a generalization of Shannon entropy and provides a new approach to enhance decision trees' performance with an adjustable parameter $q$. In this paper, a Tsallis Entropy Criterion (TEC) algorithm is proposed to unify Shannon entropy, Gain Ratio and Gini index, which generalizes the split criteria of decision trees. More importantly, we reveal the relations between Tsallis entropy with different $q$ and other split criteria. Experimental results on UCI data sets indicate that the TEC algorithm achieves statistically significant improvement over the classical algorithms.

연구 동기 및 목표

• 기존의 결정 트리 분할 기준인 샤논 엔트로피, 지니 계수, 게인 비율을 하나의 매개변수 프레임워크로 통합하는 것.
• 조정 가능한 매개변수 $q$ 를 가진 투사 엔트로피를 도입하여 결정 트리 성능을 향상시키는 것.
• 다양한 $q$ 값에 대한 투사 엔트로피와 기존 분할 기준 간의 수학적 관계를 규명하는 것.
• TEC 알고리즘의 정확도 및 복잡도 면에서 전통적 알고리즘 대비 우수성을 실증적으로 검증하는 것.
• 더 나은 일반화를 위해 데이터에 따라 최적의 $q$ 값을 탐색하는 것.

제안 방법

• 조정 가능한 매개변수 $q$ 를 통해 샤논 엔트로피, 지니 계수, 게인 비율을 일반화하는 투사 엔트로피 기반 분할 기준(TEC)을 제안한다.
• 투사 엔트로피를 $ S_q(X) = \frac{1}{1-q} \left( \sum_{i=1}^n p(x_i)^q - 1 \right) $ 로 정의하며, $q \to 1$ 일 때 샤논 엔트로피로 수렴한다.
• 정확도와 트리 복잡도의 균형을 고려해 각 데이터셋에 최적의 $q$ 값을 선택하기 위해 교차 검증을 사용한다.
• 두 가지 변형을 구현: 투사 엔트로피(TEC)와 투사 게인 비율(TEC)로, 클래스 불균형을 보완하기 위해 정규화를 적용한다.
• 정보 이득을 최대화하는 분할 기준을 사용해 TEC 알고리즘을 반복적으로 적용하여 결정 트리를 성장시킨다.
• 정확도와 노드 수를 지표로 사용해 11개의 UCI 데이터셋에서 TEC를 ID3(샤논 엔트로피), CART(지니 계수), C4.5(게인 비율)와 비교한다.

실험 결과

연구 질문

• RQ1 투사 엔트로피는 샤논 엔트로피, 지니 계수, 게인 비율과 같은 기존의 결정 트리 분할 기준을 하나의 매개변수 프레임워크로 통합할 수 있는가?
• RQ2 다양한 데이터셋에서 매개변수 $q$ 의 값에 따라 TEC 알고리즘의 성능은 어떻게 변화하는가?
• RQ3 TEC 알고리즘이 ID3, CART, C4.5와 비교해 통계적으로 유의미한 정확도 향상과 복잡도 향상을 달성하는가?
• RQ4 최적의 $q$ 값과 데이터셋의 특성(예: 클래스 수, 데이터 유형 등) 사이의 관계는 어떠한가?
• RQ5 투사 엔트로피는 해석 가능성 손실 없이 기존 기준보다 더 나은 일반화 성능을 제공할 수 있는가?

주요 결과

• TEC 알고리즘은 UCI 데이터셋에서 ID3, CART, C4.5와 같은 전통적 알고리즘보다 통계적으로 유의미한 평균 4%의 정확도 향상을 달성한다.
• 최적의 $q$ 를 가진 투사 엔트로피는 정확도와 트리 복잡도 면에서 샤논 엔트로피와 지니 계수를 모두 초월한다.
• 투사 게인 비율은 표준 게인 비율보다 더 뛰어난 성능을 보이며, 투사 프레임워크 내에서 정규화의 유용성을 시사한다.
• 최적의 $q$ 값은 클래스 수가 증가함에 따라 감소하는 경향을 보이나, 예외도 존재한다(예: Vehicle 데이터셋).
• Car와 같은 데이터셋에서는 $q$ 값에 민감도가 낮아, 낮은 복잡도와 높은 정확도의 상황에서 강건성을 보인다.
• 윌콕슨 부호 순위 검정 결과, TEC와 전통적 알고리즘 간의 성능 차이는 $p < 0.01$ 수준에서 통계적으로 유의미하다.