[논문 리뷰] Fast Interpretable Greedy-Tree Sums

Yan Shuo Tan, Chandan Singh외 7명|arXiv (Cornell University)|2022. 01. 28.

Explainable Artificial Intelligence (XAI)인용 수 9

한 줄 요약

이 논문은 단일 트리의 인도적 편향을 극복하기 위해 데이터의 가산 구조를 포착할 수 있도록 동시에 여러 결정 트리를 성장시키는 합으로 구성된 새로운 알고리즘인 Fast Interpretable Greedy-Tree Sums (FIGS)를 제안한다. FIGS는 높은 해석 가능성과 함께 최신 예측 성능를 달성하며, G-FIGS와 같은 변종은 임상 의사결정에서 민감도를 유지하면서도 특이도를 최대 20% 향상시킨다.

ABSTRACT

Modern machine learning has achieved impressive prediction performance, but often sacrifices interpretability, a critical consideration in high-stakes domains such as medicine. In such settings, practitioners often use highly interpretable decision tree models, but these suffer from inductive bias against additive structure. To overcome this bias, we propose Fast Interpretable Greedy-Tree Sums (FIGS), which generalizes the CART algorithm to simultaneously grow a flexible number of trees in summation. By combining logical rules with addition, FIGS is able to adapt to additive structure while remaining highly interpretable. Extensive experiments on real-world datasets show that FIGS achieves state-of-the-art prediction performance. To demonstrate the usefulness of FIGS in high-stakes domains, we adapt FIGS to learn clinical decision instruments (CDIs), which are tools for guiding clinical decision-making. Specifically, we introduce a variant of FIGS known as G-FIGS that accounts for the heterogeneity in medical data. G-FIGS derives CDIs that reflect domain knowledge and enjoy improved specificity (by up to 20% over CART) without sacrificing sensitivity or interpretability. To provide further insight into FIGS, we prove that FIGS learns components of additive models, a property we refer to as disentanglement. Further, we show (under oracle conditions) that unconstrained tree-sum models leverage disentanglement to generalize more efficiently than single decision tree models when fitted to additive regression functions. Finally, to avoid overfitting with an unconstrained number of splits, we develop Bagging-FIGS, an ensemble version of FIGS that borrows the variance reduction techniques of random forests. Bagging-FIGS enjoys competitive performance with random forests and XGBoost on real-world datasets.

연구 동기 및 목표

• 단일 결정 트리의 인도적 편향으로 인해 가산 회귀 함수에서 성능이 저하되는 문제를 해결하기 위해.
• 특히 의료와 같은 고위험 분야에서 높은 예측 성능와 함께 해석 가능성을 유지하는 방법을 개발하기 위해.
• 트리합 모델에서 가산 성분을 분리할 수 있도록 하여 일반화 성능를 향상시키고 과적합을 줄이기 위해.
• 분야 지식을 고려하고 임상 의사결정에서 특이도를 향상시키는 임상적으로 해석 가능한 모델(G-FIGS)을 만들기 위해.
• 스케일이 가능하고 앙상블과 호환되는 프레임워크(Bagging-FIGS)를 제공하여 랜덤 포레스트와 XGBoost의 성능을 충족하거나 초월하기 위해.

제안 방법

• FIGS는 단일 트리를 성장시키는 대신, 트리의 합에 속한 트리들의 집합에서 한 번에 한 개의 분할을 탐욕적으로 추가함으로써 CART를 일반화한다.
• 알고리즘은 합에 속한 모든 트리에서 목적 함수를 가장 크게 향상시키는 분할을 선택함으로써 가산 성분을 효율적으로 발견할 수 있다.
• 각 트리가 기저 함수의 별개의 가산 성분을 학습하는 분리성 성질을 활용한다.
• G-FIGS는 도메인 특화 제약 조건과 이질성 인식 분할을 통합하여 임상적 관련성을 향상시킨 FIGS의 확장이다.
• Bagging-FIGS는 트리합 모델에 배깅을 적용하여 분산을 줄이고 일반화 성능를 향상시킨다. 이는 랜덤 포레스트와 유사하다.
• 이 방법은 sklearn과 호환되는 API를 사용하며, 재현성과 실용적 구현을 위해 imodels 패키지에 통합되어 있다.

실험 결과

연구 질문

• RQ1 트리합 모델은 단일 트리보다 가산 성분을 더 효율적으로 학습할 수 있으며, 이는 더 나은 일반화로 이어지는가?
• RQ2 결정 트리 모델에서 해석 가능성과 높은 예측 성능를 동시에 달성할 수 있는가?
• RQ3 탐욕적이고 반복적인 트리합 접근 방식은 랜덤 포레스트와 XGBoost와 같은 표준 앙상블 방법을 능가할 수 있는가?
• RQ4 임상 의사결정에서 특이도를 향상시키기 위해 도메인 지식을 트리 기반 모델에 얼마나 효과적으로 통합할 수 있는가?
• RQ5 트리합 모델에서 가산 성분의 분리성이 오рак루스 조건 하에서 통계적으로 더 효율적인 학습으로 이어지는가?

주요 결과

• FIGS는 실제 데이터셋에서 높은 해석 가능성과 함께 최신 예측 성능를 달성한다.
• G-FIGS는 임상 의사결정 도구 모델링에서 CART 대비 민감도를 유지하면서도 특이도를 최대 20% 향상시킨다.
• 오라클 조건 하에서, 제약 조건이 없는 트리합 모델은 가산 회귀 함수를 피팅할 때 단일 결정 트리보다 더 효율적으로 일반화된다.
• FIGS의 분리성 성질은 진정한 함수의 개별 가산 성분을 학습할 수 있게 하며, 이는 단일 트리가 효율적으로 수행할 수 없는 영역이다.
• Bagging-FIGS는 실제 데이터셋에서 랜덤 포레스트와 XGBoost와 경쟁 가능한 성능를 보이며, 강건성과 확장성을 입증한다.
• 이론적 분석 결과, FIGS의 일반화 오차는 유계이며, 특히 분할이 분산을 최소화하도록 선택될 경우 가산 성분의 수가 증가함에 따라 향상된다.