[논문 리뷰] Enhancing LIME using Neural Decision Trees

Mohamed Aymen Bouyahia, Argyris Kalogeratos|arXiv (Cornell University)|2026. 03. 21.

Explainable Artificial Intelligence (XAI)인용 수 0

한 줄 요약

논문은 Tabular 데이터에 대해 해석 가능성을 높이고 fidelity를 개선하기 위한 로컬 surrogates로 Neural Decision Trees를 사용하는 LIME 변형인 NDT-LIME을 소개합니다. 이는 벤치마크 데이터셋에서 전통적인 LIME surrogates보다 더 높은 로컬 fidelity를 보입니다.

ABSTRACT

Interpreting complex machine learning models is a critical challenge, especially for tabular data where model transparency is paramount. Local Interpretable Model-Agnostic Explanations (LIME) has been a very popular framework for interpretable machine learning, also inspiring many extensions. While traditional surrogate models used in LIME variants (e.g. linear regression and decision trees) offer a degree of stability, they can struggle to faithfully capture the complex non-linear decision boundaries that are inherent in many sophisticated black-box models. This work contributes toward bridging the gap between high predictive performance and interpretable decision-making. Specifically, we propose the NDT-LIME variant that integrates Neural Decision Trees (NDTs) as surrogate models. By leveraging the structured, hierarchical nature of NDTs, our approach aims at providing more accurate and meaningful local explanations. We evaluate its effectiveness on several benchmark tabular datasets, showing consistent improvements in explanation fidelity over traditional LIME surrogates.

연구 동기 및 목표

• 브리지 높은 예측 성능과 해석 가능한 로컬 설명 사이의 격차를 해소하기 위해 tabular 데이터에 대해.
• LIME 프레임워크 내에서 Neural Decision Trees (NDTs)를 로컬 surrogates 모델로 통합.
• 벤치마크 데이터셋에서 전통적인 LIME surrogates 대비 설명의 fidelity와 안정성의 개선을 입증.
• 더 부드럽고 더 충실한 로컬 설명에 대한 이론적·경험적 근거를 제공.
• 채용과 추가 연구를 촉진하기 위한 오픈 소스 구현 제공

제안 방법

• LIME에서 표준 surrogates를 Neural Decision Trees (NDTs)로 대체하여 로컬 설명자로 사용.
• 로컬 이웃에서 학습된 기존 결정 트리에서 NDT를 warm-start로 초기화.
• perturbed 샘플을 사용한 로컬 fidelity 손실 최소화를 위한 gradient 기반 최적화로 NDT를 미세 조정: L_fidelity = sum_i pi(x_i, x) ||f(x_i) - g(x_i)||^2, 여기서 pi는 입력 공간의 가우시안 커널.
• DT를 2개의 은닉층과 하나의 출력층을 가진 3층 신경망으로 구성하여 구분 가능한 분할을 가능하게 하는 NDT로 표현.
• 훈련된 NDT에서 leaf까지의 경로를 추적하고 gradient를 계산하여 설명(예: feature importance 또는 규칙)을 추출합니다.
• NDT-LIME을 LR-LIME 및 DT-LIME과 비교하여 팔용·안정성·정규성 메트릭으로 8개 벤치마크 데이터셋에서 평가합니다.

실험 결과

연구 질문

• RQ1 Neural Decision Trees를 LIME 대리 모델로 사용할 때 선형 또는 그리드 DT 대리 모델에 비해 로컬 fidelity를 향상시킬 수 있는가?
• RQ2 NDT 기반 설명이 perturbation 하에서 더 안정적이고 규칙적(local explanations)인 설명을 제공하는가?
• RQ3 다양한 tabular 데이터셋에서 fidelity, stability, regularity 측면에서 NDT-LIME의 성능은 어떠한가?
• RQ4 전통적인 결정 트리로 초기화하는 것이 설명 품질에 어떤 영향을 미치는가?
• RQ5 설명 품질의 향상을 통해 추가 계산 비용이 정당화되는가?

주요 결과

Dataset	Stability LR-LIME	Stability DT-LIME	Stability NDT-LIME	Fidelity LR-LIME	Fidelity DT-LIME	Fidelity NDT-LIME	Regularity LR-LIME	Regularity DT-LIME	Regularity NDT-LIME
Breast Cancer	0.997 ± 0.003	0.986 ± 0.103	0.991 ± 0.004	0.527 ± 0.085	0.686 ± 0.049	0.785 ± 0.031	0.812 ± 0.014	0.873 ± 0.005	0.915 ± 0.024
Iris	0.994 ± 0.006	0.997 ± 0.003	0.943 ± 0.010	0.554 ± 0.150	0.777 ± 0.037	0.860 ± 0.021	0.743 ± 0.017	0.813 ± 0.028	0.820 ± 0.039
Wine	0.999 ± 0.001	0.997 ± 0.001	0.998 ± 0.002	0.321 ± 0.133	0.395 ± 0.183	0.518 ± 0.131	0.830 ± 0.019	0.864 ± 0.042	0.910 ± 0.023
Digits	0.980 ± 0.009	0.961 ± 0.091	0.816 ± 0.023	0.243 ± 0.141	0.440 ± 0.076	0.577 ± 0.106	0.654 ± 0.021	0.512 ± 0.084	0.563 ± 0.034
Covtype	0.984 ± 0.005	0.983 ± 0.108	0.931 ± 0.007	0.362 ± 0.052	0.556 ± 0.110	0.632 ± 0.067	0.890 ± 0.012	0.926 ± 0.020	0.849 ± 0.072
California Housing	0.999 ± 0.000	0.999 ± 0.000	0.973 ± 0.001	0.297 ± 0.148	0.890 ± 0.022	0.960 ± 0.014	0.834 ± 0.009	0.864 ± 0.011	0.794 ± 0.033
Diabetes	0.999 ± 0.001	0.999 ± 0.001	0.998 ± 0.002	0.886 ± 0.012	0.562 ± 0.124	0.920 ± 0.035	0.956 ± 0.010	0.794 ± 0.102	0.978 ± 0.017
Ames Housing	0.998 ± 0.000	0.996 ± 0.041	0.990 ± 0.013	0.865 ± 0.030	0.506 ± 0.062	0.713 ± 0.054	0.976 ± 0.008	0.903 ± 0.012	0.893 ± 0.027

• NDT-LIME은 일반적으로 대부분의 데이터셋에서 LR-LIME 및 DT-LIME보다 더 높은 fidelity(R^2)을 달성하며, California Housing 및 Diabetes에서 특히 큰 향상을 보임.
• NDT-LIME은 기저 대조군과 비교해 강력한 안정성을 제공하지만, 표현력이 커진 만큼 일부 데이터셋에서 안정성이 약간 낮아질 수 있음.
• NDT-LIME은 더 높은 규칙성(정규성)을 달성하여, 가까운 데이터 포인트 간 설명이 더 매끄럽고 Linear 대리보다 해석 가능성이 큼.
• 데이터셋 전반에 걸쳐 NDT-LIME은 NDT의 표현력을 활용하여 해석 가능성과 fidelity 간의 우수한 균형을 제공.
• 저자들은 NDT-LIME의 오픈 소스 코드를 제공하여 재현성과 추가 실험을 용이하게 함.