[논문 리뷰] Explaining the Predictions of Any Image Classifier via Decision Trees

Sheng Shi, Xinfeng Zhang외 1명|arXiv (Cornell University)|2019. 11. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 14인용 수 10

한 줄 요약

이 논문은 어떤 이미지 분류기의 예측을 국소적으로 충실하고 해석 가능한 모델로 설명하기 위해 의사결정트리 기반 접근법인 Tree-LIME을 제안한다. 선형-LIME와 달리 선형 회귀를 사용하고 비선형 상호작용을 다루기 어려워하는 데 비해, Tree-LIME는 복잡한 특징 상호작용을 포착하여 딥러닝 모델을 설명할 때 더 높은 충실도, 더 나은 이해 가능성, 더 빠른 추론 성능을 달성한다.

ABSTRACT

Despite outstanding contribution to the significant progress of Artificial Intelligence (AI), deep learning models remain mostly black boxes, which are extremely weak in explainability of the reasoning process and prediction results. Explainability is not only a gateway between AI and society but also a powerful tool to detect flaws in the model and biases in the data. Local Interpretable Model-agnostic Explanation (LIME) is a recent approach that uses an interpretable model to form a local explanation for the individual prediction result. The current implementation of LIME adopts the linear regression as its interpretable function. However, being so restricted and usually over-simplifying the relationships, linear models fail in situations where nonlinear associations and interactions exist among features and prediction results. This paper implements a decision Tree-based LIME approach, which uses a decision tree model to form an interpretable representation that is locally faithful to the original model. Tree-LIME approach can capture nonlinear interactions among features in the data and creates plausible explanations. Various experiments show that the Tree-LIME explanation of multiple black-box models can achieve more reliable performance in terms of understandability, fidelity, and efficiency.

연구 동기 및 목표

• 선형-LIME가 비선형 특징 상호작용과 이미지 분류기 예측에서의 복잡한 관계를 포착하는 데 한계를 보이는 문제를 해결하기 위해.
• 국소적 충실도, 이해 가능성, 계산 효율성을 향상시키는 모델에 종속되지 않는 설명 방법을 개발하기 위해.
• 초픽셀 기반 표현을 사용하여 블랙박스 이미지 분류기의 예측을 이해하기 쉬운 인간이 읽을 수 있는 의사결정트리 기반 설명을 제공하기 위해.
• 다양한 이미지 분류 모델과 데이터셋에서 Tree-LIME와 선형-LIME의 성능을 평가하기 위해.
• 의사결정트리가 딥러닝 예측의 국소적 설명에서 선형 모델보다 충실도와 해석 가능성 면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 이 방법은 분류기의 예측을 위한 국소적이고 해석 가능한 입력 공간을 만들기 위해 초픽셀 기반 이미지 표현을 사용한다.
• 주어진 입력 주변의 변형된 샘플에 대해 회귀 의사결정트리(CART)를 훈련시어 블랙박스 분류기의 국소적 행동을 모델링한다.
• 의사결정트리는 이미지 특징(초픽셀)과 예측 확률 간의 비선형 상호작용을 포착하여 계층적이고 규칙 기반의 설명을 가능하게 한다.
• 특징 중요도는 지니 불순도 감소를 통해 계산되며, 각 초픽셀이 예측 분산에 기여하는 정도를 정량화한다.
• 국소적 충실도는 블랙박스 모델과 Tree-LIME 대체 모델 간의 예측 오차를 통해 측정된다.
• 이 방법은 모델에 종속되지 않으며, 랜덤 포레스트나 Inception 네트워크를 포함한 모든 사전 훈련된 이미지 분류기에 적용할 수 있다.

실험 결과

연구 질문

• RQ1 의사결정트리 기반 대체 모델이 선형 모델에 비해 이미지 분류기 예측을 설명할 때 국소적 충실도를 향상시킬 수 있는가?
• RQ2 의사결정트리의 비선형 상호작용 모델링 능력 덕분에 Tree-LIME가 선형-LIME보다 더 직관적이고 이해하기 쉬운 설명을 제공하는가?
• RQ3 Tree-LIME의 설명 생성 시간 측면에서 선형-LIME에 비해 계산 효율성이 어떻게 비교되는가?
• RQ4 선형 모델이 표현하지 못하는 특징 상호작용을 Tree-LIME가 얼마나 잘 포착할 수 있는가?
• RQ5 다양한 이미지 분류 작업 전반에서 Tree-LIME는 설명의 복잡성을 줄이고 해석 가능성을 향상시키면서도 높은 충실도를 유지하는가?

주요 결과

• Inception 모델의 'lamp' 클래스에 대해 Tree-LIME는 예측 오차 0.0476을 기록하여 선형-LIME의 오차 0.1479보다 유의미하게 낮아 더 높은 국소적 충실도를 나타낸다.
• MNIST 데이터셋에서 Tree-LIME는 예측 오차 0.0을 기록하여 선형-LIME의 오차 0.0529를 능가하며 국소 근사에서 뛰어난 충실도를 보여준다.
• Tree-LIME의 설명 생성 시간은 Inception에서 'lamp' 클래스에 대해 0.0060초로 측정되어 선형-LIME의 0.0289초보다 빠르며, 효율성 향상을 입증한다.
• 의사결정트리의 구조상, MNIST에서 'seven'을 예측하는 데 가장 영향을 미친 특징은 0번(중요도 0.9416)과 3번(중요도 0.0402)이었으며, 명확하고 해석 가능한 통찰을 제공했다.
• Tree-LIME는 초픽셀 28, 22, 30의 동시 존재와 같은 비선형 상호작용을 포착하여 'African chameleon'에 대한 예측 확률을 0.991로 높였다.
• 의사결정트리의 사용 덕분에 선형 계수 기반 설명보다 더 직관적이고 계층적인 설명이 가능해졌으며, 인간이 이해하기 쉬운 설명을 제공했다.