[논문 리뷰] Optimal Generalized Decision Trees via Integer Programming

Oktay Günlük, Jayant Kalagnanam외 3명|arXiv (Cornell University)|2016. 12. 10.

Machine Learning and Data Classification참고 문헌 20인용 수 20

한 줄 요약

이 논문은 이산형 특성에 대해 최적의 결정 트리를 구성하기 위한 혼합정수계획법(MIP) 수식을 제안한다. 이는 이산형 특성에 대해 조합적 분할 규칙을 허용하고, 수치형 특성은 임계값 기반 분할을 통해 처리한다. 이 방법은 CART보다 더 작고, 더 정확하며, 더 해석 가능한 트리를 생성하며, FICO의 HELoc 데이터 및 유방암 분류와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Decision trees have been a very popular class of predictive models for decades due to their interpretability and good performance on categorical features. However, they are not always robust and tend to overfit the data. Additionally, if allowed to grow large, they lose interpretability. In this paper, we present a mixed integer programming formulation to construct optimal decision trees of a prespecified size. We take the special structure of categorical features into account and allow combinatorial decisions (based on subsets of values of features) at each node. Our approach can also handle numerical features via thresholding. We show that very good accuracy can be achieved with small trees using moderately-sized training sets. The optimization problems we solve are tractable with modern solvers.

연구 동기 및 목표

• 이산형 특성을 갖는 이진 분류를 위한 최적의 결정 트리를 구성하는 방법을 개발함으로써 높은 정확도와 해석 가능성 확보.
• CART와 같은 히우리스틱 결정 트리 알고리즘의 한계를 해결함. 이는 탐욕적이고 순차적인 구축 방식으로 인해 최적의 트리가 아닌 경우가 많기 때문이다.
• 이산형 특성에 대해 더 유연한 분할 규칙을 허용함. 예를 들어 '기혼' 또는 '동거 파artner'와 같은 값의 조합을 하나의 그룹으로 묶어 분할하는 것.
• 정확도 외에도 민감도와 특이도와 같은 특정 성능 지표를 최적화함으로써 도메인 특화 모델 설계 가능.
• 현대 MIP 솔버를 활용해 중간 크기의 데이터셋에서도 최적의 트리를 실용적인 시간 내에 계산할 수 있음을 입증함.

제안 방법

• 노드 결정 및 분할 규칙을 나타내는 정수 변수를 사용하여 최적의 결정 트리 문제를 혼합정수선형계획법(MILP)으로 수식화함.
• 이산형 특성에 대해 조합적 분할 규칙을 도입함으로써, 이진 인코딩 방식보다 더 높은 모델 표현력을 확보함.
• 수치형 특성은 CART 방식의 결정 규칙과 일관되게 임계값 기반 분할을 도입함.
• 복잡도 제어 및 과적합 방지를 위해 사전 지정된 트리 크기(깊이 또는 노드 수)를 사용함.
• 현대 MIP 솔버를 통한 브랜치 앤 컷 방식을 활용하여 실용적인 시간 제한 내에 최적 또는 근사 최적 해를 확보함.
• 이산형 특성의 구조를 활용하여 문제에 특화된 유효한 부등식과 프리프로세싱 기법을 적용하여 해 시간을 단축함.

실험 결과

연구 질문

• RQ1 정확한 정수계획법 접근 방식이 CART와 같은 히우리스틱 결정 트리 알고리즘보다 분류 정확도와 해석 가능성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 표준 이진 분할에 비해 이산형 특성에 대한 조합적 분할 규칙이 얼마나 모델 성능 향상에 기여하는가?
• RQ3 실제로 중간 크기의 데이터셋에 대해 실용적으로 사용 가능한 정도로 빠르게 최적의 결정 트리를 구성할 수 있는가?
• RQ4 정확도가 아닌 민감도나 특이도를 최적화할 때 최적 트리의 성능는 히우리스틱 트리와 비교해 어떻게 되는가?
• RQ5 학습 데이터셋 크기가 증가함에 따라 제안된 MIP 수식의 확장성이 얼마나 우수한가? 문제에 특화된 개선 조치를 통해 해 시간을 줄일 수 있는가?

주요 결과

• FICO HELoc 데이터셋에서 최적의 결정 트리(ODT)는 90%의 학습 데이터를 사용한 깊이-2 트리로 71.6%의 테스트 정확도를 기록하여 CART의 71.0%보다 뛰어났다.
• 유방암 데이터셋에서 깊이-2 ODT는 95%의 학습 민감도 제약 조건을 충족하면서도 테스트 민감도(민감도율, TPR) 94.7%를 달성하였고, 특이도 역시 93.0%를 유지하였다.
• 동일한 학습 제약 조건 하에서 깊이-2 ODT는 깊이-3 트리보다 더 잘 일반화되었으며, 테스트 TPR(민감도율) 94.7%를 기록한 반면 깊이-3 트리는 93.0%에 머물렀다.
• 유방암 데이터셋에서 깊이-2 트리와 100% 학습 민감도 제약 조건을 적용했을 때, ODT 모델은 특이도 99.1%와 민감도 79.6%를 기록하였다.
• HELloc 데이터셋에서 ODT 수식은 405초 이내에 최적해를 확보하여 중간 크기의 데이터셋에 대해 실현 가능함을 입증하였다.
• ODT 접근법은 정확도와 해석 가능성 측면에서 항상 CART를 능가하였으며, 특히 작은 크기이면서도 높은 성능을 내는 트리가 필요한 경우 두드러진 성능 향상을 보였다.