[논문 리뷰] Quant-BnB: A Scalable Branch-and-Bound Method for Optimal Decision Trees with Continuous Features

Rahul Mazumder, Meng Xiang외 1명|arXiv (Cornell University)|2022. 06. 23.

Machine Learning and Data Classification인용 수 5

한 줄 요약

Quant-BnB는 연속형 특징을 갖는 회귀 및 분류 작업을 위한 스케일러블하고 정확한 최적의 결정 트리 학습을 가능하게 하는 새로운 분기법-한계 알고리즘입니다. 특징 분위수를 활용하여 검색 공간을 분할하고 날카러운 경계를 계산함으로써 상당한 속도 향상을 달성하며, 이전의 MIP 및 동적 프로그래밍 방법이 시간 초과되는 대규모 데이터셋에서도 깊이 2 트리를 10초 이내에 해결합니다.

ABSTRACT

Decision trees are one of the most useful and popular methods in the machine learning toolbox. In this paper, we consider the problem of learning optimal decision trees, a combinatorial optimization problem that is challenging to solve at scale. A common approach in the literature is to use greedy heuristics, which may not be optimal. Recently there has been significant interest in learning optimal decision trees using various approaches (e.g., based on integer programming, dynamic programming) -- to achieve computational scalability, most of these approaches focus on classification tasks with binary features. In this paper, we present a new discrete optimization method based on branch-and-bound (BnB) to obtain optimal decision trees. Different from existing customized approaches, we consider both regression and classification tasks with continuous features. The basic idea underlying our approach is to split the search space based on the quantiles of the feature distribution -- leading to upper and lower bounds for the underlying optimization problem along the BnB iterations. Our proposed algorithm Quant-BnB shows significant speedups compared to existing approaches for shallow optimal trees on various real datasets.

연구 동기 및 목표

• 연속형 특징을 갖는 최적의 결정 트리에 대해 스케일러블하고 정확한 방법의 부족을 해결하기 위해.
• 단독으로 작동하며 솔버에 종속되지 않는 분기법-한계 알고리즘을 개발하여 회귀 및 분류 작업을 모두 처리하기 위해.
• 연속형 특징이 있는 대규모 데이터셋에서 얕은 최적 트리(깊이 ≤ 3)에 대해 계산 효율을 향상시키기 위해.
• 결정 트리 학습에서 이론적 최적성과 실용적 확장성 사이의 격차를 메우기 위해.

제안 방법

• 분기법-한계 탐색을 위한 하위 영역으로 검색 공간을 분할하기 위해 특징 분포의 분위수를 사용합니다.
• W1,s′ (식 13)를 통한 동적 하한 경계를 활용하여 비최적의 부분트리를 효과적으로 잘라냅니다.
• 검색을 이끌기 위한 분위수 분할 기반의 새로운 상한 경계 추정 전략을 도입합니다.
• 상한 기반의 가지치기와 함께 깊이 우선 탐색 전략을 적용하여 상용 MIP 솔버에 의존하지 않습니다.
• 이진화 없이도 연속형 및 이진형 특징을 자연스럽게 처리하여 특징의 구조를 유지합니다.
• CART에서의 온난 시작을 사용하여 수렴 속도를 가속화하며, 노드별로 동적으로 조정되는 매개변수 s′를 활용합니다.

실험 결과

연구 질문

• RQ1 분기법-한계 방법이 대규모 연속형 특징을 갖는 최적의 결정 트리를 정확하게 달성할 수 있는가?
• RQ2 기존 방법과 비교해 분위수 기반의 검색 공간 분해가 경계 품질과 가지치기 효율을 어떻게 향상시키는가?
• RQ3 단독으로 작동하는 BnB 알고리즘이 대규모 데이터셋에서 연속형 특징을 갖는 MIP 및 동적 프로그래밍 접근법을 능가할 수 있는가?
• RQ4 Quant-BnB는 회귀 및 분류 작업에서 최신 기법인 ORT, GOSDT, BinOCT에 비해 어떤 성능 향상을 보이는가?

주요 결과

• 159,874개의 인스턴스를 포함하는 데이터셋에서 Quant-BnB는 깊이 2 회귀 트리를 10초 이내에 모두 해결했고, ORT는 4시간 후에 시간 초과되었습니다.
• 31,715개의 인스턴스를 포함하는 news 데이터셋에서 Quant-BnB는 깊이 2 트리 학습을 349초에 완료했으며, ORT는 2896초(8.3배 빠름)가 걸렸습니다.
• 깊이 3 트리의 경우, Quant-BnB는 11개의 회귀 데이터셋 중 8개에서 20초 이내에 최적 해를 달성했고, ORT는 4시간 이내에 어떤 것도 해결하지 못했습니다.
• 분류 작업에서 Quant-BnB는 이진화 방법(예: MDLP)의 최적 정확도를 유지하거나 초월했으며, 여러 데이터셋에서 CART를 능가했습니다.
• 스킨 데이터셋(깊이 3)에서 Quant-BnB는 훈련 정확도 96.6%를 달성했고, 이는 이진화 방법의 최적 성능를 정확히 따라가며 특징 변환 없이도 달성했습니다.
• Quant-BnB는 강건성과 확장성을 입증했으며, 15만 개 이상의 샘플을 포함하는 데이터셋에서 깊이 2 트리를 10분 이내에 해결했고, 기존의 정확한 방법들에 비해 현저히 뛰어난 성능을 보였습니다.