[논문 리뷰] Strong Optimal Classification Trees

Sina Aghaei, Andrés Gómez외 1명|arXiv (Cornell University)|2021. 03. 29.

Machine Learning and Data Classification인용 수 15

한 줄 요약

이 논문은 이원분할을 가진 최적의 이진 분류 트리를 학습하기 위한 새로운 플로우 기반 혼합정수최적화(MIO) 수식을 제안하며, 벤더스 분해와 최대유량/최소컷 이중성의 활용으로 계산을 가속화한다. 기존 최첨단 MIO 방법 대비 평균 29배 빠른 수렴 속도와 최대 8% 향상된 검증 집합 성능을 달성하며, 부가 제약 조건을 통한 해석 가능성과 공정성 확보도 가능하다.

ABSTRACT

Decision trees are among the most popular machine learning models and are used routinely in applications ranging from revenue management and medicine to bioinformatics. In this paper, we consider the problem of learning optimal binary classification trees with univariate splits. Literature on the topic has burgeoned in recent years, motivated both by the empirical suboptimality of heuristic approaches and the tremendous improvements in mixed-integer optimization (MIO) technology. Yet, existing MIO-based approaches from the literature do not leverage the power of MIO to its full extent: they rely on weak formulations, resulting in slow convergence and large optimality gaps. To fill this gap in the literature, we propose an intuitive flow-based MIO formulation for learning optimal binary classification trees. Our formulation can accommodate side constraints to enable the design of interpretable and fair decision trees. Moreover, we show that our formulation has a stronger linear optimization relaxation than existing methods in the case of binary data. We exploit the decomposable structure of our formulation and max-flow/min-cut duality to derive a Benders' decomposition method to speed-up computation. We propose a tailored procedure for solving each decomposed subproblem that provably generates facets of the feasible set of the MIO as constraints to add to the main problem. We conduct extensive computational experiments on standard benchmark datasets on which we show that our proposed approaches are 29 times faster than state-of-the-art MIO-based techniques and improve out-of-sample performance by up to 8%.

연구 동기 및 목표

• 기존 MIO 기반 최적의 분류 트리 접근법의 한계를 해결하기 위해, 즉 약한 수식, 느린 수렴 속도, 큰 최적성 갭 문제를 해결하고자 한다.
• 이진 데이터의 구조를 활용해 이론적 유연성과 해 품질을 향상시키는 더 강력한 MIO 수식을 개발하고자 한다.
• 분해 가능한 구조와 최대유량/최소컷 이중성을 활용해 벤더스 분해를 통해 계산 속도를 가속화하고자 한다.
• 해석 가능하고 공정한 의사결정 트리 설계를 위해 부가 제약 조건을 통합할 수 있도록 하고자 한다.
• 기준 데이터셋에서 계산 속도와 검증 집합 정확도 측면에서 기존 MIO 기반 접근법 대비 뛰어난 성능을 실증하고자 한다.

제안 방법

• 결정 트리 학습을 네트워크 플로우 문제로 모델링하는 플로우 기반 MIO 수식을 제안하며, 변수는 노드와 분할을 통과하는 데이터의 흐름을 나타낸다.
• 최대유량/최소컷 이중성을 활용해 벤더스 최적성 컷을 유도하며, 타당한 부등식을 통해 마스터 문제의 강도를 높인다.
• MIO 탐색 공간의 초면을 생성하는 컷 평면을 유도하기 위해 특화된 보조 문제 해결 절차를 개발한다.
• 마스터 문제(트리 구조 최적화)와 보조 문제(가능성 검증 및 컷 생성)로 분해된 벤더스 분해 프레임워크를 구현한다.
• 문제를 마스터 문제(트리 구조)와 보조 문제(데이터 흐름 및 분할 결정)로 분리하여 효율적인 열 생성을 가능하게 하는 분해 전략을 구현한다.
• 직접 MIO 수식에 통합함으로써 공정성 및 해석 가능성과 같은 부가 제약 조건을 지원한다.

실험 결과

연구 질문

• RQ1 플로우 기반 MIO 수식은 최적의 분류 트리 학습에서 선형 프로그래밍 타당 해석의 강도와 수렴 속도를 크게 향상시킬 수 있는가?
• RQ2 이중성 기반 컷을 활용한 벤더스 분해는 최적의 의사결정 트리 문제의 해를 얼마나 빠르게 가속화할 수 있는가?
• RQ3 기존 MIO 기반 접근법과 비교해 제안된 방법은 계산 효율성과 검증 집합 성능 측면에서 어떻게 성능을 내는가?
• RQ4 제안된 프레임워크는 부가 제약 조건을 효과적으로 통합해 해석 가능하고 공정한 의사결정 트리를 생성할 수 있는가?
• RQ5 더 강력한 수식은 미관측 데이터에 대한 일반화 성능 향상에 기여하는가?

주요 결과

• 제안된 플로우 기반 MIO 수식은 기존 방법보다 이진 데이터에 대해 더 강력한 선형 프로그래밍 타당 해석을 달성하여 경계 품질을 향상시킨다.
• 특화된 보조 문제 해결 절차를 통한 벤더스 분해 접근법은 최적성 갭을 감소시키고 수렴 속도를 가속화하여, 최첨단 MIO 기법 대비 평균 29배 더 빠른 계산을 달성한다.
• 표준 기준 데이터셋에서 기존 최적 트리 방법 대비 검증 집합 성능을 최대 8% 향상시킨다.
• 프레임워크는 부가 제약 조건을 성공적으로 통합하여 성능을 희생시키지 않은 채 해석 가능하고 공정한 의사결정 트리를 구축할 수 있다.
• house-votes-84, spect, breast-cancer, balance-scale, tic-tac-toe, car-evaluation, kr-vs-kp 등 다양한 데이터셋에서 뚜렷한 속도 향상과 정확도 향상을 보이며 강건성을 입증하였다.
• 보조 문제 해결 절차는 MIO 타당 해석의 타당한 초면을 증명 가능하게 생성하여 마스터 문제를 반복적으로 강화한다.