[논문 리뷰] Optimal Sparse Decision Trees

Xiyang Hu, Cynthia Rudin외 1명|arXiv (Cornell University)|2019. 04. 29.

Machine Learning and Data Classification참고 문헌 14인용 수 10

한 줄 요약

이 논문은 분석적 경계, 맞춤형 데이터 구조, 비트 벡터 라이브러리를 사용하여 실용적인 최적 희소 의사결정나무 알고리즘을 처음으로 제안한다. 이는 합리적인 시간 내에 증명 가능한 최적성을 달성한다. 이 알고리즘은 기존의 BinOCT 및 CART와 비교해도 벤치마크 및 고위험도 데이터셋(예: COMPAS, FICO)에서 뛰어난 성능을 보이며, 수천 개에서 수백만 개의 인스턴스를 포함하는 문제를 해결하면서 최적성 또는 최적에 가까운 최적성을 입증한다.

ABSTRACT

Decision tree algorithms have been among the most popular algorithms for interpretable (transparent) machine learning since the early 1980's. The problem that has plagued decision tree algorithms since their inception is their lack of optimality, or lack of guarantees of closeness to optimality: decision tree algorithms are often greedy or myopic, and sometimes produce unquestionably suboptimal models. Hardness of decision tree optimization is both a theoretical and practical obstacle, and even careful mathematical programming approaches have not been able to solve these problems efficiently. This work introduces the first practical algorithm for optimal decision trees for binary variables. The algorithm is a co-design of analytical bounds that reduce the search space and modern systems techniques, including data structures and a custom bit-vector library. Our experiments highlight advantages in scalability, speed, and proof of optimality. The code is available at https://github.com/xiyanghu/OSDT.

연구 동기 및 목표

• 의사결정나무 알고리즘이 일반적으로 탐욕적 접근을 사용해 최적이 아니라는 오랜 문제를 해결하기 위해.
• 이진 특성에 대해 최적 또는 근사 최적 의사결정나무를 보장하는 확장성 있고 효율적인 알고리즘을 개발하기 위해.
• 범죄 정의 및 신용 리스크와 같이 투명성과 정확성이 핵심적인 고위험 도메인에서 해석 가능한 모델의 사용을 가능하게 하기 위해.
• 주어진 희소 수준에 대해 더 나은 나무가 존재하지 않는다는 최적성의 증거를 제공하기 위해.
• 기존의 수학적 프로그래밍 및 SAT 기반 접근 방식의 확장성 한계를 극복하기 위해.

제안 방법

• 알고리즘은 최적 의사결정나무의 탐색 공간을 크게 줄이기 위해 분석적 경계를 사용한다.
• 잎사귀만을 저장하는 트리 표현 방식을 사용하여 효율적인 계산과 대칭성 활용을 가능하게 한다.
• 다중 데이터 포인트에서 병렬 계산을 가능하게 하여 의사결정나무 평가 속도를 높이는 맞춤형 비트 벡터 라이브러리를 활용한다.
• 재계산을 최소화하기 위해 빠른 탐색 정책과 계산 재사용 기법을 통합한다.
• 정규화된 최적화 문제로 문제를 재구성하여 정확도와 잎사귀 수의 균형을 이루며, 맞춤형 제약 조건을 적용한 혼합정수계획법 프레임워크를 사용한다.
• 알고리즘 기법과 시스템 수준 최적화를 공동 설계하여 중간 결과를 위한 전용 데이터 구조를 포함한다.

실험 결과

연구 질문

• RQ1 수천에서 수백만 개의 인스턴스를 포함하는 실세계 데이터셋에 대해, 증명 가능한 최적 희소 의사결정나무를 찾는 실용적인 알고리즘을 설계할 수 있는가?
• RQ2 분석적 경계와 시스템 최적화는 기존의 수학적 프로그래밍 또는 SAT 기반 접근 방식에 비해 속도와 확장성 측면에서 어떻게 비교되는가?
• RQ3 범죄 재범 및 신용 리스크와 같은 고위험 응용 분야에서, 제안된 방법이 탐욕적 또는 히우리스틱 대안보다 더 나은 또는 더 신뢰할 수 있는 모델을 생성하는가?
• RQ4 기존 연구에서 주장한 최적성은 증명 가능한 최적 알고리즘을 통해 검증했을 때 얼마나 타당한가?
• RQ5 경계, 비트 벡터 평가, 데이터 구조 중 어떤 알고리즘 구성 요소가 다양한 데이터셋에서 런타임을 가장 크게 감소시키는가?

주요 결과

• OSDT는 이전에 다른 방법에 의해 최적이라고 주장되었지만 검증되지 않은 COMPAS 및 FICO 데이터셋에 대해 최초로 증명 가능한 최적 희소 의사결정나무를 발견했다.
• Monk1 데이터셋에서 OSDT는 3.390초 만에 최적 성능를 달성했고, 정규화된 BinOCT는 한 시간이 넘도록 완료되지 않았으며, 이는 17배의 속도 향상을 의미한다.
• 테스트한 모든 벤치마크 데이터셋에서 OSDT는 정확도 면에서 CART 및 BinOCT를 일관되게 능가했으며, 최적 또는 근사 최적의 희소성 유지했다.
• 비트 벡터 평가 및 계산 재사용을 포함한 구현 최적화로 인해 런타임이 97% 감소했다.
• 교차 검증 실험에서, 동일한 희소 수준에서 OSDT는 CART 및 BinOCT보다 균일하게 높은 학습 정확도를 확보했으며, 여러 데이터셋에서 테스트 정확도 향상도 관찰되었다.
• 제거 실험을 통해 분석적 경계와 비트 벡터 평가가 다양한 데이터셋에서 계산 시간 감소에 가장 큰 영향을 미친 것으로 확인되었다.