[논문 리뷰] Learning Optimal Decision Trees from Large Datasets

Florent Avellaneda|arXiv (Cornell University)|2019. 04. 12.

Machine Learning and Data Classification참고 문헌 9인용 수 4

한 줄 요약

이 논문은 대규모 데이터셋으로부터 최소 깊이와 최소 노드 수를 갖는 최적의 결정트리 학습을 위한 확장 가능한, SAT 기반의 방법을 제시한다. 점진적으로 부울 공식을 생성하고 반례를 이용해 트리를 정밀하게 조정함으로써, 추론 속도가 크게 향상되어 'Mouse' 데이터셋을 75ms 내에 처리하며, 이전의 정확한 방법들보다 빠르고 확장성 있는 성능을 유지하면서도 높은 정확도를 확보한다.

ABSTRACT

Inferring a decision tree from a given dataset is one of the classic problems in machine learning. This problem consists of buildings, from a labelled dataset, a tree such that each node corresponds to a class and a path between the tree root and a leaf corresponds to a conjunction of features to be satisfied in this class. Following the principle of parsimony, we want to infer a minimal tree consistent with the dataset. Unfortunately, inferring an optimal decision tree is known to be NP-complete for several definitions of optimality. Hence, the majority of existing approaches relies on heuristics, and as for the few exact inference approaches, they do not work on large data sets. In this paper, we propose a novel approach for inferring a decision tree of a minimum depth based on the incremental generation of Boolean formula. The experimental results indicate that it scales sufficiently well and the time it takes to run grows slowly with the size of dataset.

연구 동기 및 목표

• 대규모 데이터셋으로부터 최소 깊이와 최소 노드 수를 갖는 최적의 결정트리 학습이라는 NP-완전 문제를 해결하기 위해.
• 기존의 SAT 기반 정확한 추론 방법들이 대규모 학습 세트에서 어려움을 겪는 확장성의 한계를 극복하기 위해.
• 해석 가능한 AI가 필요한 중요한 시스템에 적합한 실용적이고 효율적인 정확한 결정트리 학습 알고리즘을 개발하기 위해.
• 기존의 SAT 공식화 방식을 개선하여 학습 예제를 점진적으로 처리함으로써 데이터셋 크기에 따른 런타임 증가를 줄이기 위해.
• 이전에 정확한 방법으로는 비현실적으로 여겨졌던 잘 알려진 대규모 데이터셋에서도 최적의 결정트리를 효율적으로 학습할 수 있음을 입증하기 위해.

제안 방법

• 결정트리 학습 문제를 부울 만족 가능성(SAT) 문제로 공식화하여, 트리의 구조와 학습 예제와의 일致성 제약 조건을 인코딩한다.
• 학습 예제를 하나씩 처리하는 점진적 알고리즘을 도입하며, 일치하지 않을 경우 반례를 이용해 트리를 정밀하게 조정한다.
• 이중 단계 접근 방식을 사용한다: 첫 번째로 최소 깊이의 트리를 학습하고, 두 번째로 깊이 최적성은 유지하면서 노드 수를 최소화한다.
• 단일한 공식을 구성하는 것을 피하는 컴act한 SAT 인코딩을 활용하여 메모리 및 런타임 오버헤드를 감소시킨다.
• 현대적 SAT 솔버를 활용해 점진적인 공식 생성을 효율적으로 해결함으로써 대규모 데이터셋에 대한 확장성을 확보한다.
• 비이진 및 수치형 특징을 처리하기 위해 특징 인코딩 기법을 적용하여 이를 이진 부울 특징으로 변환한다.

실험 결과

연구 질문

• RQ1 최적의 깊이와 노드 수를 유지하면서도 대규모 데이터셋에 대해 확장 가능한 정확한 결정트리 학습이 가능할 수 있는가?
• RQ2 런타임과 메모리 사용 측면에서 점진적 공식 생성 방식은 단일 공식(SAT) 인코딩 방식보다 어떻게 비교되는가?
• RQ3 데이터셋 크기, 특징 수, 깊이가 정확한 결정트리 학습의 추론 시간에 미치는 영향은 무엇인가?
• RQ4 이전에 정확한 방법으로는 너무 크다고 여겨졌던 잘 알려진 벤치마크 데이터셋에 대해 최적의 결정트리를 학습할 수 있는가?
• RQ5 점진적 접근 방식은 히ュ리스틱 방법이나 비점진적 정확한 방법 대비 예측 정확도를 유지하거나 향상시키는가?

주요 결과

• 제안된 방법은 'Mouse' 데이터셋을 75ms 내에 처리하여 이전에 가장 우수한 SAT 기반 방법(577초)보다 7.7배 빠른 성능을 기록했다.
• 알고리즘이 데이터셋 크기에 대해 비선형적으로 확장되며, 일정 수의 예제를 초과하면 추론 시간이 정체되는 경향을 보이며, 이는 이전의 SAT 기반 방법들과는 다름.
• 깊이 4 트리의 경우, balance-scale 데이터셋에서 92.6%의 정확도를 기록하여 BinOCT* 히ュ리스틱 방법(78.9%)을 능가했다.
• NP-완전 문제임에도 불구하고 노드 수에 따라 실행 시간이 거의 다항적으로 증가함을 확인하여 강력한 실용적 확장성을 입증했다.
• 특징 수가 추론 시간에 가장 강한 부정적 영향을 미치며, 이는 특징 선택 또는 특징 정제를 통해 성능 향상을 추가로 기대할 수 있음을 시사한다.
• 이전에 정확한 추론에 비현실적으로 여겨졌던 대규모 실생활 벤치마크 데이터셋에 대해서도 최적의 결정트리를 성공적으로 유도했다.