[논문 리뷰] Explaining Deep Convolutional Neural Networks for Image Classification by Evolving Local Interpretable Model-agnostic Explanations

Bin Wang, Wenbin Pei외 2명|arXiv (Cornell University)|2022. 11. 28.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 이미지 분류에서 딥 컨volution 신경망에 대한 국소적이고 해석 가능하며 모델에 종속되지 않는 설명을 유전 알고리즘 기반으로 진화시키는 E-LIME를 제안한다. LIME의 계산 비용이 많이 드는 샘플링을 대체하여 적합도 기반의 유전 알고리즘(GA)을 사용해 슈퍼픽셀 부분집합을 진화시킴으로써, E-LIME는 한 번의 추론에 1분 이내로 빠른 처리를 달성하고, ImageNet 이미지에서 ResNet, DenseNet, MobileNet에 대해 예측 신뢰도를 최대 47.59% 향상시킨다.

ABSTRACT

Deep convolutional neural networks have proven their effectiveness, and have been acknowledged as the most dominant method for image classification. However, a severe drawback of deep convolutional neural networks is poor explainability. Unfortunately, in many real-world applications, users need to understand the rationale behind the predictions of deep convolutional neural networks when determining whether they should trust the predictions or not. To resolve this issue, a novel genetic algorithm-based method is proposed for the first time to automatically evolve local explanations that can assist users to assess the rationality of the predictions. Furthermore, the proposed method is model-agnostic, i.e., it can be utilised to explain any deep convolutional neural network models. In the experiments, ResNet is used as an example model to be explained, and the ImageNet dataset is selected as the benchmark dataset. DenseNet and MobileNet are further explained to demonstrate the model-agnostic characteristic of the proposed method. The evolved local explanations on four images, randomly selected from ImageNet, are presented, which show that the evolved local explanations are straightforward to be recognised by humans. Moreover, the evolved explanations can explain the predictions of deep convolutional neural networks on all four images very well by successfully capturing meaningful interpretable features of the sample images. Further analysis based on the 30 runs of the experiments exhibits that the evolved local explanations can also improve the probabilities/confidences of the deep convolutional neural network models in making the predictions. The proposed method can obtain local explanations within one minute, which is more than ten times faster than LIME (the state-of-the-art method).

연구 동기 및 목표

• 의료 진단과 자율 주행과 같은 중요한 응용 분야에서 딥 컨volution 신경망(CNN)의 낮은 설명 가능성 문제를 해결한다.
• 최신 국소 설명 방법인 LIME의 높은 계산 비용과 고정된 슈퍼픽셀 요구 조건을 극복한다.
• 어떤 사전 학습된 CNN에도 적용 가능한 모델에 종속되지 않고 효율적이며 인간이 이해할 수 있는 설명 방법을 개발한다.
• 정확한 예측에 대한 모델의 확률 출력을 높이는 국소적 설명을 진화시켜 예측 신뢰도를 향상시킨다.
• ResNet, DenseNet, MobileNet 등의 여러 CNN 아키텍처에서 ImageNet을 대상으로 본 방법의 효과성과 효율성을 입증한다.

제안 방법

• 입력 이미지의 슈퍼픽셀을 후보 설명을 나타내는 이진 벡터로 인코딩한다.
• 각 개체가 슈퍼픽셀 부분집합을 나타내는 이진 벡터를 진화시키기 위해 유전 알고리즘(GA)을 사용한다.
• 심층 CNN이 진화된 슈퍼픽셀 부분집합에서 타깃 클래스의 예측 확률을 최대화하는 적합도 함수를 정의한다.
• 선택, 교차, 변이 연산자를 적용하여 세대를 거쳐 설명 집단을 점진적으로 향상시킨다.
• 직접 설명 공간을 최적화함으로써 편향 샘플링이 필요 없어지며, 계산 비용이 감소한다.
• 모델의 내부 아키텍처에 의존하지 않고 예측 출력만을 기반으로 하여 모델에 종속되지 않는 특성을 확보한다.

실험 결과

연구 질문

• RQ1 샘플링 기반 방법인 LIME에 의존하지 않고, 유전 알고리즘이 딥 CNN에 대해 국소적이고 인간이 이해할 수 있는 설명을 효과적으로 진화시킬 수 있는가?
• RQ2 제안된 GA 기반 방법(E-LIME)이 LIME보다 계산 비용을 줄이면서도 설명 품질을 유지하거나 향상시키는가?
• RQ3 E-LIME가 진화된 설명을 통해 딥 CNN의 이미지 분류 작업에서 예측 신뢰도(예측 확률)를 향상시킬 수 있는가?
• RQ4 이 방법은 진정으로 모델에 종속되지 않으며, ResNet, DenseNet, MobileNet과 같은 다양한 CNN 아키텍처로 일반화되는가?
• RQ5 다양한 실행에서 진화된 설명은 일관되고 안정적인가? 그리고 의미 있는 해석 가능한 특징을 포괄하는가?

주요 결과

• E-LIME는 이미지당 1분 이내로 국소적 설명을 진화시켰으며, 이는 LIME의 평균 10분 대비 10배 이상 빠른 속도이다.
• ResNet의 경우 사모예드 이미지에서 예측 신뢰도가 최대 13.44% 향상되었고, 고래 상어 이미지에서는 2.86% 향상되었다.
• DenseNet의 경우, 고래 상어 이미지에서 신뢰도가 17.76% 향상되었고, 사모예드 이미지에서는 3.36% 향상되었다(30회 실행 기준).
• MobileNet의 경우, 사모예드 이미지에서 신뢰도가 47.59% 향상되었고, 고래 상어 이미지에서는 4.23%, 백색 불새 이미지에서는 4.10% 향상되었다.
• 30회 실행 동안 예측 확률의 표준편차는 항상 낮게 유지되어, 진화된 설명의 높은 안정성과 신뢰성을 보여주었다.
• 이 방법은 강력한 모델에 종속되지 않는 특성을 보였으며, ResNet, DenseNet, MobileNet에서 유사한 성능과 속도로 예측을 성공적으로 설명하였다.