[논문 리뷰] Born-Again Tree Ensembles

Thibaut Vidal, Toni Pacheco외 1명|arXiv (Cornell University)|2020. 03. 24.

Explainable Artificial Intelligence (XAI)참고 문헌 50인용 수 22

한 줄 요약

이 논문은 주어진 트리 앙상블이 전체 특성 공간에서 정확히 동일한 예측을 반복하는 단일의 최소 크기의 의사결정트리—'보너어틴 트리'(born-again tree)로 불리는 트리—를 구성하기 위한 최적의 동적 프로그래밍 알고리즘을 제안한다. 이 방법은 정확도를 희생시키지 않은 채 증명 가능한 최적의 단순화를 달성하여 금융 및 헬스케어와 같은 고위험 응용 분야에서 높은 해석 가능성(해석 가능성)을 제공한다.

ABSTRACT

The use of machine learning algorithms in finance, medicine, and criminal justice can deeply impact human lives. As a consequence, research into interpretable machine learning has rapidly grown in an attempt to better control and fix possible sources of mistakes and biases. Tree ensembles offer a good prediction quality in various domains, but the concurrent use of multiple trees reduces the interpretability of the ensemble. Against this background, we study born-again tree ensembles, i.e., the process of constructing a single decision tree of minimum size that reproduces the exact same behavior as a given tree ensemble in its entire feature space. To find such a tree, we develop a dynamic-programming based algorithm that exploits sophisticated pruning and bounding rules to reduce the number of recursive calls. This algorithm generates optimal born-again trees for many datasets of practical interest, leading to classifiers which are typically simpler and more interpretable without any other form of compromise.

연구 동기 및 목표

• 금융, 의료, 형사사법과 같은 고위험 도메인에서의 설명 가능한 기계학습 모델에 대한 핵심적인 필요성을 해결하기 위해.
• 예측 성능와 설명 가능성 사이의 상충 관계를 해결하기 위해 트리 앙상블의 더 단순하고 동일한 표현을 찾기 위해.
• 주어진 트리 앙상블이 모든 입력 특성에 대해 정확히 동일한 행동을 반복하는 최소 크기의 의사결정트리를 체계적으로 정의하고 해결하기 위해.
• 실제 데이터셋에 스케일링 가능한 효율적인 알고리즘—최적 및 휴리스틱 방식—을 개발하여 예측 정밀도를 유지하기 위해.
• 보너어틴 트리의 구조적 성질을 조사하고, 추가로 예측 정확도를 잃지 않으면서도 더 단순화할 수 있는 후추론(post-pruning)을 탐색하기 위해.

제안 방법

• 모든 x ∈ ℝ^p 에 대해 F_T(x) = F_T(x) 를 만족하는 최소 크기의 의사결정트리 T 를 찾는 문제로 보너어틴 트리 앙상블 문제를 체계화하며, 크기는 깊이(D), 잎의 수(L), 또는 계층적 목적함수(DL)로 측정한다.
• 재귀 호출 수를 줄이고 계산 효율성을 향상시키기 위해 고도의 프루닝 및 경계 규칙을 적용한 동적 프로그래밍 알고리즘을 개발한다.
• 3-SAT 문제로의 환원을 통한 증명을 통해, 모든 크기 목표에 대해 문제의 NP-난이도를 입증함으로써 이론적 비가역성을 확립한다.
• 신뢰성 있는 예측을 유지하면서 런타임을 줄이기 위해 후보 분할을 랜덤 샘플링하고, 동질성 검증에 정수계획법을 사용하는 휴리스틱 변형을 도입한다.
• стрict bounds 와 재귀적 분해를 활용해 특성 공간을 효율적으로 탐색하며, 앙상블의 결정 함수가 변화하는 영역에 집중한다.
• 보너어틴 트리에 대해 후추론을 적용하여 예측 정확도를 훼손하지 않으면서도 구조를 더 단순화하고, 설명 가능성(해석 가능성)을 향상시킨다.

실험 결과

연구 질문

• RQ1 전체 특성 공간에서 트리 앙상블의 예측 함수를 정확히 재현하는 단일 의사결정트리를 구성할 수 있는가?
• RQ2 깊이, 잎의 수, 또는 계층적 목표 기준으로 볼 때, 그러한 트리의 최소 크기를 찾는 데 있어 계산 복잡도는 어떻게 되는가?
• RQ3 최적 및 휴리스틱 알고리즘이 실제 세계 데이터셋에 얼마나 스케일링 가능한가? 이때 예측 정밀도 유지 여부는 어떻게 되는가?
• RQ4 보너어틴 트리는 어떤 구조적 특성을 가지며, 표현 불가능하거나 중복되는 영역들은 앙상블의 행동에 어떻게 기여하는가?
• RQ5 후추론은 보너어틴 트리를 더 단순화시킬 수 있는가? 성능 저하 없이 수행 가능할까? 이는 설명 가능성에 어떤 영향을 미치는가?

주요 결과

• 모든 크기 목표 기준으로 보너어틴 트리 문제는 NP-난이도임을 확인하여 최소 표현을 찾는 데 이론적으로 비가역성을 입증한다.
• 제안된 동적 프로그래밍 알고리즘은 여러 실용적 데이터셋에 대해 최적의 보너어틴 트리를 계산하여 깊이 및 잎의 수에서 증명 가능한 최소성을 달성한다.
• 휴리스틱 알고리즘은 최적의 L 목표에서의 평균 계산 시간을 234.28초에서 0.28초로 감소시켰지만, 잎의 수 평균 20.10% 증가 및 깊이 평균 22.53% 증가의 대가를 지ay했다.
• 여섯 개의 다양한 데이터셋에서 휴리스틱 알고리즘이 BC 데이터셋 기준 평균 깊이 격리 44.80% 및 잎의 수 격리 48.37%를 기록하며, 속도와 최적성 사이의 상충 관계를 보여주었다.
• 후추론은 보너어틴 트리의 구조를 예측 품질에 영향을 주지 않으면서도 크게 단순화시켰으며, 매우 해석 가능한 고성능 모델을 도출하였다.
• 알고리즘은 Ionosphere, Spambase, Miniboone와 같은 더 큰 데이터셋(130만+ 샘플, 50개 특성)에도 성공적으로 스케일링되었으며, 휴리스틱 방식으로 1분 이내에 실행되었다.