[논문 리뷰] Generalized and Scalable Optimal Sparse Decision Trees

Jimmy Lin, Chudi Zhong외 3명|arXiv (Cornell University)|2020. 06. 15.

Explainable Artificial Intelligence (XAI)인용 수 41

한 줄 요약

GOSDT는 다양한 목표(예: AUC, F-score)에 대해 희소 의사결정 트리를 최적화하는 일반 프레임워크를 제공하고, 버킷화 없이 연속 특징을 확장 가능하게 처리합니다.

ABSTRACT

Decision tree optimization is notoriously difficult from a computational perspective but essential for the field of interpretable machine learning. Despite efforts over the past 40 years, only recently have optimization breakthroughs been made that have allowed practical algorithms to find optimal decision trees. These new techniques have the potential to trigger a paradigm shift where it is possible to construct sparse decision trees to efficiently optimize a variety of objective functions without relying on greedy splitting and pruning heuristics that often lead to suboptimal solutions. The contribution in this work is to provide a general framework for decision tree optimization that addresses the two significant open problems in the area: treatment of imbalanced data and fully optimizing over continuous variables. We present techniques that produce optimal decision trees over a variety of objectives including F-score, AUC, and partial area under the ROC convex hull. We also introduce a scalable algorithm that produces provably optimal results in the presence of continuous variables and speeds up decision tree construction by several orders of magnitude relative to the state-of-the art.

연구 동기 및 목표

• 불균형 데이터에 대응하고 의사결정 트리에서 연속 변수 전체를 최적화합니다.
• 다중 목표(F-score, AUC, pAUC, 가중 정확도, 균형 정확도)에 대한 최적의 희소 트리를 가능하게 합니다.
• 탐색 공간을 가지치고 최적성을 보증하기 위한 엄격한 경계와 표현을 제공합니다.

제안 방법

• 희소 의사결정 트리 최적화를 위한 일반적인 경계 바른 동적 프로그래밍(DPB) 프레임워크를 도입합니다.
• 탐색 공간을 가지치기하기 위한 새로운 경계들(Hierarchical Objective Lower Bound, Incremental Progress Bounds, Similar Support Bounds, Equivalent Points Bound, Subset Bound)을 개발합니다.
• 연속 특징에 대한 계산 재사용을 노출하기 위해 DP 탐색공간을 리프 세트와 서포트 세트로 표현합니다.
• 개선을 효율적으로 전파하기 위해 우선순위 큐 기반의 비동기 경계 업데이트 메커니즘을 사용합니다.
• 버킷화 방지; 그 최적성 손실을 증명하고 학습 데이터에서 정확한 순위 통계(AUC, pAUC 등)를 직접 최적화합니다.

실험 결과

연구 질문

• RQ1 GOSDT가 비정확도 목표(예: AUC 및 F-score)에 대해 희소 의사결정 트리를 최적화할 수 있나요?
• RQ2 연속 특징을 버킷화 없이 어떻게 처리하면서 최적성을 유지하고 계산 속도를 높일 수 있나요?
• RQ3 어떤 경계와 표현이 탐색 공간을 가장 잘 축소하고 확장 가능한 최적화를 가능하게 하나요?
• RQ4 기존의 최적 트리 방법과 비교하여 불균형 데이터세트에서 GOSDT의 성능은 어떠한가요?

주요 결과

• GOSDT는 AUC, pAUC, F-score, 균형 및 가중 정확도 등을 포함한 광범위한 목표에 대해 최적화할 수 있습니다.
• 버킷화 전처리는 최적성을 저하시킵니다; GOSDT는 버킷화를 피함으로써 최적성을 유지합니다.
• DPB 기반 GOSDT는 특히 연속 변수에서 기존 방법에 비해 확장성과 실행 시간을 크게 개선합니다.
• 계층적 하한과 증가/유사 서포트 경계는 탐색 공간을 극적으로 가지치고 더 빠른 최적성 인증을 가능하게 합니다.
• GOSDT는 희소하고 정확한 트리를 달성하며 다양한 데이터셋에서 최적성까지의 시간을 보여줍니다.