[논문 리뷰] On the boosting ability of top-down decision tree learning algorithm for multiclass classification

Anna Choromanska, Krzysztof Choromański외 1명|arXiv (Cornell University)|2016. 05. 17.

Imbalanced Data Classification Techniques참고 문헌 7인용 수 4

한 줄 요약

이 논문은 다중분류를 위한 상향식 결정트리 학습 방법인 LOMtree 알고리즘을 분석한다. 이 알고리즘은 트리 깊이와 정확도를 균형 잡는 목적함수를 최적화한다. 알고리즘이 부스팅 능력을 지닌다는 것을 보이며, 목적함수를 최대화함으로써 표준 엔트로피 기반 기준—샤논 엔트로피, 지니-엔트로피, 수정된 지니-엔트로피—를 감소시킴을 보여준다. 이 감소는 각 측정치의 강한 볼록성에 따라 결정되는 경계를 통해 유도되며, 특히 샤논 엔트로피의 경우 클래스 수에 대해 로그적 의존성이 있음을 보여준다.

ABSTRACT

We analyze the performance of the top-down multiclass classification algorithm for decision tree learning called LOMtree, recently proposed in the literature Choromanska and Langford (2014) for solving efficiently classification problems with very large number of classes. The algorithm online optimizes the objective function which simultaneously controls the depth of the tree and its statistical accuracy. We prove important properties of this objective and explore its connection to three well-known entropy-based decision tree objectives, i.e. Shannon entropy, Gini-entropy and its modified version, for which instead online optimization schemes were not yet developed. We show, via boosting-type guarantees, that maximizing the considered objective leads also to the reduction of all of these entropy-based objectives. The bounds we obtain critically depend on the strong-concavity properties of the entropy-based criteria, where the mildest dependence on the number of classes (only logarithmic) corresponds to the Shannon entropy.

연구 동기 및 목표

• LOMtree 알고리즘의 다중분류 결정트리 학습에 기반하는 목적함수를 이론적으로 분석하는 것.
• LOMtree의 목적함수와 잘 알려진 엔트로피 기반 분할 기준—샤논 엔트로피, 지니-엔트로피, 그리고 그 수정형—사이의 연결 고리를 설정하는 것.
• LOMtree의 목적함수를 최대화할 경우 부스팅 유형의 보장에 따라 엔트로피 기반 기준이 감소함을 보여주는 것.
• 엔트로피 측정치의 강한 볼록성 특성이 알고리즘의 일반화 경계에 미치는 영향을 조사하는 것.
• 이전 연구를 넘어 다중분류 부스팅 및 엔트로피 기반 목적함수의 온라인 최적화 이론적 이해를 확장하는 것.

제안 방법

• 부스팅 프레임워크 내에서 이론적 분석을 수행하며, 각 트리 노드에서 약한 학습기의 존재를 가정한다.
• 목적함수는 균형 잡힌 분할을 통해 트리 깊이를 제어하고, 오차 최소화를 통해 통계적 정확도를 제어한다.
• 엔트로피 기반 기준의 강한 볼록성 특성을 활용하여 LOMtree 알고리즘의 일반화 경계를 도출한다.
• 핵심 경계는 재귀적 곱의 부등식과 로그 근사값을 사용하여 유도되며, 특히 지니-엔트로피 및 수정된 지니-엔트로피 항목에 대해 적용된다.
• 네 가지 벤치마크 데이터셋(MNIST, Isolet, Sector, ALOI)을 활용한 수치 실험을 통해 이론적 결과를 검증한다.
• 알고리즘은 검증 세트에서 초파rameter를 튜닝한 후 Vowpal Wabbit에서 확률적 경사 하강법(SGD)을 사용해 구현된다.

실험 결과

연구 질문

• RQ1 LOMtree 목적함수는 샤논 엔트로피, 지니-엔트로피, 수정된 지니-엔트로피와 같은 표준 엔트로피 기반 결정트리 기준과 어떻게 관련이 있는가?
• RQ2 LOMtree 목적함수를 최대화하면 엔트로피 기반 기준이 감소할 수 있으며, 만약 그렇다면 어떤 이론적 보장이 있는가?
• RQ3 일반화 경계가 클래스 수에 따라 어떻게 의존하는가, 특히 샤논 엔트로피의 경우 어떻게 되는가?
• RQ4 엔트로피 측정치의 강한 볼록성 특성이 다중분류 환경에서의 부스팅 프레임워크의 수렴성과 성능에 어떻게 영향을 미치는가?
• RQ5 실험에서 더 빠른 수렴 속도를 보인 수정된 지니-엔트로피 기준에 대해 더 날카운 경계를 유도할 수 있는가?

주요 결과

• LOMtree 목적함수를 최대화하면 샤논 엔트로피, 지니-엔트로피, 수정된 지니-엔트로피의 세 가지 엔트로피 기반 기준 모두 부스팅 유형의 보장에 따라 감소한다.
• 샤논 엔트로피의 경계는 클래스 수에 대해 로그적으로 의존하므로, 대규모 다중분류 문제에 대해 유리한 확장성을 보인다.
• 지니-엔트로피 및 수정된 지니-엔트로피의 경우, 각각의 기준의 강한 볼록성에 따라 경계가 결정되며, 수정된 버전은 실험적으로 더 빠른 수렴을 보인다.
• 이론적 분석에 따르면, 목표 오차 수준 α를 달성하기 위해 필요한 분할 수는 (G₁/α)^(32/(η² log₂ e))로 스케일링되며, 여기서 G₁은 초기 목적함수 값이다.
• 수치 실험 결과, 테스트 오차는 지니-엔트로피의 행동을 거의 정확히 따르며, 수정된 지니-엔트로피는 가장 빠르게 감소함을 확인하여 더 날카운 이론적 경계 유도 가능성을 시사한다.
• 최악의 초기 값은 각각 G₁^e ≤ 2 ln k (샤논), G₁^g ≤ 2(1−1/k) (지니), G₁^g ≤ 2√(kC−1) (수정된 지니)이며, 이는 주요 정리 유도에 사용된다.