[논문 리뷰] An Experimental Comparison of Old and New Decision Tree Algorithms

Arman Zharmagambetov, Suryabhan Singh Hada외 2명|arXiv (Cornell University)|2019. 11. 08.

Machine Learning and Data Classification참고 문헌 13인용 수 13

한 줄 요약

이 논문은 축에 수직인 나무와 기울어진 나무 알고리즘을 기반으로 한 새로운 결정 트리 알고리즘인 트리 교대 최적화(Tree Alternating Optimization, TAO)를 평가한다. TAO는 트리 노드에 대한 교대 최적화를 통해 직접적으로 잘못 분류 오차를 최적화한다. 다양한 데이터셋에서 기존의 축에 수직인 나무 알고리즘과 기울어진 나무 알고리즘보다 유의미하게 높은 정확도를 달성하면서도 더 작고 더 해석하기 쉬운 트리를 생성한다. 특히 OCT와 CO2와 같은 고급 방법들조차도 정확도와 효율성 측면에서 TAO에 뒤지게 된다.

ABSTRACT

This paper presents a detailed comparison of a recently proposed algorithm for optimizing decision trees, tree alternating optimization (TAO), with other popular, established algorithms. We compare their performance on a number of classification and regression datasets of various complexity, different size and dimensionality, across different performance factors: accuracy and tree size (in terms of the number of leaves or the depth of the tree). We find that TAO achieves higher accuracy in nearly all datasets, often by a large margin.

연구 동기 및 목표

• 최근에 제안된 트리 교대 최적화(Tree Alternating Optimization, TAO) 알고리즘의 성능을 기존의 결정 트리 알고리즘들과 비교 평가하는 것.
• 다양한 데이터셋에서 TAO의 정확도, 트리 크기(깊이 및 잎의 수), 학습 효율성에 대한 평가.
• 잘못 분류 오차를 직접 최적화하는 것이 탐욕스러운 불순도 기반 방법보다 더 나은 일반화 및 해석 가능성으로 이어지는지 조사하는 것.
• 축에 수직인 나무 알고리즘과 기울어진 나무 알고리즘, 특히 최신의 최적화 기반 접근법들과의 성능 비교.
• TAO의 교대 최적화 프레임워크가 정확도와 모델의 압축성 측면에서 뛰어난 결과를 얻을 수 있는지 판단하는 것.

제안 방법

• TAO는 고정된 트리 구조를 가진 결정 트리의 잘못 분류 오차를 노드에 대한 교대 최적화를 통해 직접 최적화한다.
• 각 반복 단계에서 TAO는 나머지 노드는 고정한 채 한 노드의 분할 파라미터만 업데이트하며, 이는 목적 함수 값이 감소하지 않음을 보장한다.
• 이 방법은 개별 특징을 사용하는 축에 수직 분할과 특징의 가중 조합을 사용하는 기울어진 분할을 모두 지원한다.
• TAO는 노드의 부분집합을 분리 가능하게 최적화하는 좌표 기반 업데이트 전략을 사용하여 반복적으로 트리를 향상시킨다.
• 알고리즘은 CART와 같이 국소적인 불순도 측정치를 최적화하는 탐욕스러운 방법들보다 더 나은 근사 최적해를 찾도록 설계되어 있다.
• TAO는 분류 및 회귀 과제 모두에 적용되며, 성능 평가 기준으로는 테스트 정확도, RMSE, 트리 깊이, 잎의 수를 사용한다.

실험 결과

연구 질문

• RQ1 TAO는 다양한 데이터셋에서 기존의 결정 트리 알고리즘보다 높은 분류 및 회귀 정확도를 달성하는가?
• RQ2 특히 모델의 해석 가능성과 관련하여 다른 알고리즘들과 비교해 TAO의 트리 크기(깊이 및 잎의 수)는 어떠한가?
• RQ3 TAO는 OCT 및 CO2와 같은 탐욕스럽지 않은 최적화 기반 방법들보다 정확도와 학습 효율성 측면에서 뛰어나게 성능을 내는가?
• RQ4 CART 및 C5.0와 같은 기존의 탐욕스러운 알고리즘과 비교해 TAO의 성능은 데이터셋 크기와 차원 수에 따라 어떻게 스케일링되는가?
• RQ5 특히 MNIST와 같은 큰 데이터셋에서 TAO의 런타임 효율성은 다른 기울어진 트리 알고리즘들보다 어떻게 되는가?

주요 결과

• TAO는 거의 모든 분류 및 회귀 데이터셋에서 모든 기준선 알고리즘보다 더 높은 정확도를 달성했으며, 일부 경우에서는 큰 격차를 보였다.
• YearPredictionMSD 데이터셋에서 TAO는 테스트 RMSE 9.11 ± 0.05를 기록했으며, CART-R(9.71 ± 0.31)와 GUIDE(9.79 ± 0.54)를 모두 앞섰다.
• TAO는 유의미하게 더 작고 얕은 트리를 생성했다. 예를 들어 CT 슬라이스 데이터셋에서 TAO의 평균 깊이는 7.0이며 잎의 수는 74.8개였고, GUIDE는 각각 36.0과 700.0개였다.
• MNIST 데이터셋에서 TAO는 약 1200–1400초 내에 학습을 완료했으며, OC1(1800초)과 GUIDE(26,000초)를 모두 앞섰다. 이는 고정확도를 유지한 채로 이루어진 성과였다.
• 테스트 오차 측면에서 TAO는 테스트 세트의 7개 분류 데이터셋 중 5개에서 승리했으며, CART-P는 2번, 다른 방법들은 0번이었다.
• TAO의 런타임은 축에 수직인 방법들인 CART와 C5.0와 경쟁 가능했으며, 다른 기울어진 방법들인 GUIDE보다는 훨씬 빠르게 작동했다.