[논문 리뷰] Evaluating the performance of the LIME and Grad-CAM explanation methods on a LEGO multi-label image classification task

David Cian, Jan van Gemert외 1명|arXiv (Cornell University)|2020. 08. 04.

Explainable Artificial Intelligence (XAI)인용 수 15

한 줄 요약

이 연구는 다중 레이블 이미지 작업에서 레고 브릭을 분류하는 딥러닝 모델에 대한 설명 방법으로 LIME과 Grad-CAM을 평가한다. 1,800장의 레고 이미지로 구성된 자체 제작 데이터셋을 사용하여, 저자들은 Grad-CAM이 핵심 모델 성능 통찰력과 사용자 신뢰도에서 LIME를 뛰어넘는 것으로 발견했으며, 참가자들의 80%가 신뢰성 측면에서 Grad-CAM을 선호했지만, 두 방법을 조합하면 상호보완적인 통찰을 얻을 수 있었다.

ABSTRACT

In this paper, we run two methods of explanation, namely LIME and Grad-CAM, on a convolutional neural network trained to label images with the LEGO bricks that are visible in them. We evaluate them on two criteria, the improvement of the network's core performance and the trust they are able to generate for users of the system. We find that in general, Grad-CAM seems to outperform LIME on this specific task: it yields more detailed insight from the point of view of core performance and 80\\% of respondents asked to choose between them when it comes to the trust they inspire in the model choose Grad-CAM. However, we also posit that it is more useful to employ these two methods together, as the insights they yield are complementary.

연구 동기 및 목표

• 레고 다중 레이블 이미지 분류에 훈련된 딥러닝 모델에 대한 설명 방법으로 LIME와 Grad-CAM의 효과성을 평가하기 위해.
• 이러한 설명 기법이 해석 가능성 덕분에 모델의 핵심 성능을 어떻게 향상시키는지 평가하기 위해.
• 사용자 평가 연구를 통해 각 설명 방법이 생성하는 사용자 신뢰 수준을 측정하기 위해.
• LIME과 Grad-CAM을 함께 사용할 경우 단독으로 사용할 때보다 더 종합적인 통찰을 제공하는지 확인하기 위해.
• GitLab과 Weights & Biases를 통해 코드, 모델 가중치, 데이터셋 접근성을 공개하여 재현 가능성을 확보하기 위해.

제안 방법

• 1,800개의 레고 이미지 패치로 구성된 자체 제작 데이터셋을 사용해 다중 레이블 형식으로 표시된 브릭 유형을 분류하기 위해 컨볼루션 신경망(CNN)을 훈련시켰다.
• LIME(Local Interpretable Model-agnostic Explanations)를 적용하여 입력 픽셀을 변형하고 선형 대체 모델을 피팅함으로써 국소적이고 인스턴스별 설명을 생성하였다.
• Grad-CAM(Gradient Class Activation Mapping)을 적용하여 최종 컨볼루션 레이어의 기울기 정보를 활용해 클래스 활성화 맵을 생성하였다.
• 비교적 통찰을 얻기 위해 커널 시각화와 특징 맵 분석을 보조적 해석 기법으로 사용하였다.
• 10명의 참가자로 이루어진 익명의 이진 강제 선택 사용자 연구를 실시하여 어느 설명 방법이 모델에 대한 더 큰 신뢰를 불러일으키는지 평가하였다.
• 사용자들이 딥러닝에 얼마나 익숙한지 수집하여 전문성의 영향을 신뢰 인식에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 LIME와 Grad-CAM은 레고 다중 레이블 분류를 위한 딥러닝 모델의 핵심 성능에 대한 통찰을 향상시키는 데 얼마나 효과적인가?
• RQ2 LIME와 Grad-CAM 중 어느 설명 방법이 모델 예측에 대해 더 큰 사용자 신뢰를 유도하는가?
• RQ3 사용자가 딥러닝에 익숙한 정도가 설명 방법의 신뢰성 인식에 영향을 미치는가?
• RQ4 LIME와 Grad-CAM을 함께 사용할 경우 상호보완적인 통찰을 얼마나 잘 제공하는가?
• RQ5 실험 결과는 얼마나 재현 가능하며, 복제를 위해 어떤 자원이 제공되는가?

주요 결과

• Grad-CAM은 초분할 수준에서 관련 이미지 영역을 강조함으로써 모델의 추론 과정에 대한 세밀하고 국소적인 통찰을 LIME보다 뛰어나게 제공하였다.
• 사용자 신뢰 평가에서 참가자 80%가 LIME보다 Grad-CAM을 선호하여, 신뢰성과 투명성에 대한 더 강한 인식을 나타냈다.
• LIME는 국소적 변형과 선형 근사에 의존함으로써 Grad-CAM의 기울기 기반 주의 맵에 비해 덜 정확하고 더 모호한 활성화 맵을 생성하였다.
• 연구에서 LIME과 Grad-CAM을 함께 사용할 경우 서로 다른 모델 행동 측면을 포착함으로써 상호보완적인 통찰을 제공하는 것으로 밝혀졌다.
• 딥러닝에 더 익숙한 참가자들은 약간 더 세련된 선호도를 보였지만, 전체적인 추세로는 Grad-CAM 선호 경향이 일관되게 유지되었다.
• 전체 코드베이스, 모델 가중치, 데이터셋은 GitLab과 Weights & Biases에서 공개되어 있어 실험의 완전한 재현이 가능하다.