[논문 리뷰] Efficient non-greedy optimization of decision trees

Mohammad Norouzi, Maxwell D. Collins외 3명|arXiv (Cornell University)|2015. 11. 12.

Machine Learning and Data Classification참고 문헌 25인용 수 69

한 줄 요약

이 논문은 경험 손실의 볼록-오목 상한에 대한 확률적 경사 하강법을 사용하여 비그리디스, 전역 최적화된 결정 트리 학습 방법을 제안한다. 이는 분할 함수와 리프 파라미터를 동시에 최적화할 수 있게 하며, 그로 인해 그레디 기반 방법보다 더 낫거나 과적합이 적은 일반화 성능을 달성한다. 또한 복잡도를 O(2^d p)에서 O(d²p)로 감소시키는 빠른 추론 변형을 통해 확장 가능한 학습을 가능하게 한다.

ABSTRACT

Decision trees and randomized forests are widely used in computer vision and machine learning. Standard algorithms for decision tree induction optimize the split functions one node at a time according to some splitting criteria. This greedy procedure often leads to suboptimal trees. In this paper, we present an algorithm for optimizing the split functions at all levels of the tree jointly with the leaf parameters, based on a global objective. We show that the problem of finding optimal linear-combination (oblique) splits for decision trees is related to structured prediction with latent variables, and we formulate a convex-concave upper bound on the tree's empirical loss. The run-time of computing the gradient of the proposed surrogate objective with respect to each training exemplar is quadratic in the the tree depth, and thus training deep trees is feasible. The use of stochastic gradient descent for optimization enables effective training with large datasets. Experiments on several classification benchmarks demonstrate that the resulting non-greedy decision trees outperform greedy decision tree baselines.

연구 동기 및 목표

• 한 번에 한 노드씩 분할을 최적화하는 그레디스 결정 트리 유도의 국소 최적화 문제를 해결하기 위해 전역적인 구조를 고려하지 않는 한계를 해결한다.
• 최적 트리 학습의 NP-완전성 문제를 극복하기 위해 다루기 쉬운 대체 목적 함수를 사용하는 전역 최적화 문제로 재구성한다.
• 깊은 트리의 효율적 학습을 위해 경사 하강 계산의 계산 복잡도를 깊이에 대해 지수적에서 이차함수로 감소시킨다.
• 정규화된 전역 목적 함수 하에서 분할 함수와 리프 파라미터를 동시에 최적화하여 일반화 성능을 향상시키고 과적합을 줄인다.
• 스pars리티 및 커널 방법과 같은 확장 기능을 지원하는 비그리디스 결정 트리 학습을 위한 원칙적인 프레임워크를 제공한다.

제안 방법

• 각 내부 노드에 대해 이진 잠재 결정 변수를 갖는 구조적 예측 문제로 결정 트리 학습을 공식화하며, 이는 통과한 경로를 나타낸다.
• 경험 손실에 대한 볼록-오목 상한을 구성하여 최적화를 위한 미분 가능한 대체 목적 함수로 활용한다.
• 이 대체 목적 함수 하에서 확률적 경사 하강법(SGD)을 사용해 분할 가중치 W와 리프 파라미터 Θ를 동시에 최적화한다.
• 트리의 구조를 활용하여 손실 증강 추론의 빠른 변형을 도입함으로써 경사 하강 계산의 복잡도를 O(2^d p)에서 O(d²p)로 감소시킨다.
• W와 Θ의 초기값을 제공하기 위해 축에 수직인 그레디스 트리(CO2 기준선)를 사용해 비그리디스 방법을 초기화한다.
• 매개수 ν를 통한 노름 정규화를 적용하여 마진 크기를 제어하고 암묵적으로 리프를 제거함으로써 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 모든 트리 수준에서 분할 함수를 동시에 최적화하는 것이 한 번에 한 노드씩 학습하는 그레디스 방법보다 더 낫거나 과적합이 적은 일반화 성능을 달성할 수 있는가?
• RQ2 깊은 결정 트리를 효율적으로 학습할 수 있는가? 비그리디스 최적화와 확장 가능한 경사 하강 계산을 통해 가능한가?
• RQ3 정규화 매개수 ν가 트리 구조와 일반화 성능에 어떤 영향을 미치는가?
• RQ4 다양한 트리 깊이에서 비그리디스 학습이 그레디 기반 방법에 비해 과적합을 얼마나 줄이는가?
• RQ5 비그리디스, 전역 최적화 설정에서 기존의 비그리디스 접근법(CO2 등)을 초월할 수 있는가?

주요 결과

• 비그리디스 결정 트리는 여러 벤치마크에서 모든 트리 깊이에서 가장 높은 테스트 정확도를 달성하며, 그레디스 및 CO2 기준선을 능가한다.
• 이 방법은 과적합이 줄어들어 깊이가 깊어질수록 그레디스 트리보다 항상 높은 테스트 정확도를 기록한다.
• 정규화 매개수 ν는 암묵적인 제거를 제어한다: 더 작은 ν 값은 활성 리프 수가 적어지며, 그림 3에서 이를 확인할 수 있다.
• 빠른 추론 변형은 확장 가능한 학습을 가능하게 하며, 학습 시간이 깊이에 따라 지수적으로 증가하는 것이 아니라 선형적으로 증가함을 도식화하여 입증했다(그림 4).
• 이 방법은 다양한 데이터셋에서 잘 일반화되며, MNIST, Connect4 및 기타 분류 작업에서 일관된 성능 향상을 보였다.
• ν와 학습률 η의 하이퍼파rameter 튜닝을 통해 최적의 모델을 도출하였으며, 최종 테스트 세트 평가에서 그레디스 및 CO2 기준선을 능가하는 정확도를 확보했다.