[논문 리뷰] A Novel Explainable Artificial Intelligence Model in Image Classification problem

Quoc Hung Cao, Truong Thanh Hung Nguyen외 2명|arXiv (Cornell University)|2023. 07. 09.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 LIME의 인간 중심의 국소화 기능과 CAM의 빠른 처리 속도를 결합한 새로운 국소 후행 해석 가능한 AI 방법 SeCAM을 제안한다. 이미지 분할을 통해 주요 영역을 식별함으로써, 모델 아키텍처를 수정하지 않고도 정확하고 빠르며 안정적인 설명(약 2초/설명)을 제공한다. 이는 LIME와 CAM보다 처리 속도와 해석 가능성 면에서 뛰어나다.

ABSTRACT

In recent years, artificial intelligence is increasingly being applied widely in many different fields and has a profound and direct impact on human life. Following this is the need to understand the principles of the model making predictions. Since most of the current high-precision models are black boxes, neither the AI scientist nor the end-user deeply understands what's going on inside these models. Therefore, many algorithms are studied for the purpose of explaining AI models, especially those in the problem of image classification in the field of computer vision such as LIME, CAM, GradCAM. However, these algorithms still have limitations such as LIME's long execution time and CAM's confusing interpretation of concreteness and clarity. Therefore, in this paper, we propose a new method called Segmentation - Class Activation Mapping (SeCAM) that combines the advantages of these algorithms above, while at the same time overcoming their disadvantages. We tested this algorithm with various models, including ResNet50, Inception-v3, VGG16 from ImageNet Large Scale Visual Recognition Challenge (ILSVRC) data set. Outstanding results when the algorithm has met all the requirements for a specific explanation in a remarkably concise time.

연구 동기 및 목표

• 기존 XAI 방법에서 빠르고 정확하며 안정적인 설명이 부족한 문제를 해결한다.
• LIME의 높은 계산 비용과 CAM의 넓고 정확도가 떨어지는 활성화 맵을 극복한다.
• 모델에 종속되지 않는 후행 방법으로, 해석 가능성은 유지하면서 추론 시간을 크게 줄인다.
• 인간의 이미지 내 물체 인식 방식과 일치하는 직관적인 분할 기반 설명을 제공한다.
• 아키텍처 수정 없이 다양한 딥 러닝 모델에 적용 가능한 일반화 가능한 프레임워크를 제공한다.

제안 방법

• 입력 이미지를 인간의 인지에 의미 있는 영역으로 나누기 위해 슈퍼픽셀 분할(SLIC를 사용)을 적용한다.
• GradCAM와 유사하게 기울기 정보를 기반으로 각 분할 영역의 클래스 활성화 점수를 계산한다.
• 특징 맵의 가중 평균을 사용하여 예측 클래스에 가장 영향을 미치는 세그먼트를 식별한다.
• 각 세그먼트의 색상 강도가 예측에 기여하는 정도를 반영하도록 원본 이미지에 히트맵 오버레이를 생성한다.
• 모델에 종속되지 않는 운영을 보장하기 위해 아키텍처 변경이 필요 없으며, 어떤 사전 훈련된 분류기와도 사용 가능하다.
• 분할과 활성화 맵핑을 융합하여 인간이 이해하기 쉬운 국소화된 설명을 생성하며, 정밀하고 효율적이다.

Figure 1 : The segmented image for the input image (Figure 2a)

실험 결과

연구 질문

• RQ1 분할 기반 XAI 방법이 LIME 수준의 해석 가능성과 CAM 수준의 추론 시간을 동시에 달성할 수 있는가?
• RQ2 SeCAM의 설명 품질은 국소화 정확도와 인간 중심의 일치성 측면에서 LIME와 CAM과 비교해 어떻게 되는가?
• RQ3 분할 알고리즘의 선택(SLIC 대비 quickshift 등)이 모델 설명의 신뢰성에 상당한 영향을 미치는가?
• RQ4 아키텍처 수정 없이 다양한 이미지 클래스와 모델에서 SeCAM이 안정적이고 안전한 설명을 제공할 수 있는가?
• RQ5 SeCAM의 프레임워크는 컴퓨터 비전 분야의 다른 XAI 방법을 향상시키는 데 얼마나 일반화될 수 있는가?

주요 결과

• SeCAM은 평균적으로 약 2초의 설명 시간을 기록하여 LIME의 약 200초보다 훨씬 빠르다.
• 품질 분석과 사용자 설문 조사 결과, 일부 이미지 인스턴스에서 SeCAM의 설명은 LIME보다 더 안정적이고 편향이 적다.
• 사람이 정의한 바운딩 박스와 매우 유사하게 인간 중심의 설명을 생성하여 CAM의 너무 넓은 활성화 영역보다 뛰어나다.
• 다양한 분할 알고리즘(SLIC 및 quickshift 등)은 다른 분할 결과를 낳지만, SeCAM은 일관되게 올바른 물체 관련 영역을 식별하여 분할 선택에 대한 강건성을 보였다.
• 정량적 평가에서 SeCAM은 LIME와 CAM보다 뛰어난 국소화 정확도와 더 빠른 추론 속도를 기록했으며, 특히 ResNet50, Inception-v3, VGG16 모델에서 두드러졌다.
• 사용자 설문 조사 결과, SeCAM의 설명은 LIME와 CAM의 설명보다 더 직관적이고 신뢰감이 있다고 평가되었다.

(a) Input image