[논문 리뷰] One Explanation is Not Enough: Structured Attention Graphs for Image Classification

Vivswan Shitole, Fuxin Li외 3명|arXiv (Cornell University)|2020. 11. 12.

Explainable Artificial Intelligence (XAI)인용 수 14

한 줄 요약

이 논문은 구조적 주의 그래프(Structured Attention Graphs, SAGs)를 제안하며, 이미지 분류기 결정에 대한 다수의 고신뢰도이고 국소화된 설명을 비트 서치를 통해 탐색함으로써 새로운 시각화 방법을 개발한다. SAGs는 영역 간 의존성과 신뢰도 변화를 보여주는 방향성 비순환 그래프로 이러한 주의 맵을 표현하며, 단일 시각화 지도보다 사용자의 반대 조건 질문에 대한 정확도를 크게 향상시킨다.

ABSTRACT

Attention maps are a popular way of explaining the decisions of convolutional networks for image classification. Typically, for each image of interest, a single attention map is produced, which assigns weights to pixels based on their importance to the classification. A single attention map, however, provides an incomplete understanding since there are often many other maps that explain a classification equally well. In this paper, we introduce structured attention graphs (SAGs), which compactly represent sets of attention maps for an image by capturing how different combinations of image regions impact a classifier's confidence. We propose an approach to compute SAGs and a visualization for SAGs so that deeper insight can be gained into a classifier's decisions. We conduct a user study comparing the use of SAGs to traditional attention maps for answering counterfactual questions about image classifications. Our results show that the users are more correct when answering comparative counterfactual questions based on SAGs compared to the baselines.

연구 동기 및 목표

• 단일 시각화 지도 외에도 이미지 분류기 결정에 대해 다수의 국소화된 고신뢰도 설명이 존재하는지 조사하기.
• 동일한 분류를 고신뢰도로 설명하는 다양한, 압축된 주의 맵을 체계적으로 탐색할 수 있는 확장 가능한 방법 개발하기.
• 다양한 설명 간의 공통적이고 차별적인 구조를 효과적으로 전달할 수 있는 시각화 기법 설계하기.
• SAGs가 표준 시각화 지도와 비교해 반대 조건 추론 작업에서 사용자의 이해도와 의사결정 능력을 향상시키는지 평가하기.
• 그래프 구조와 상호작용 강조 기능이 모델 결정을 해석하는 데 사용자 성능과 자신감에 미치는 영향 평가하기.

제안 방법

• 주어진 이미지에 대해 이미지 패치를 기반으로 비트 서치를 수행하여 다수의 고신뢰도이고 국소화된 주의 맵을 체계적으로 탐색하기.
• 노드가 주의 맵을 나타내고, 간선이 패치 제거 시 포함관계와 신뢰도 감소를 표현하는 방향성 비순환 그래프로서 구조적 주의 그래프(SAGs)를 구성하기.
• 다양한 샘플링을 활용해 SAG 구성에 적합한 압축되고 대표적인 주의 맵 집합을 선별하여, 서로 다른 고신뢰도 설명을 포괄하도록 보장하기.
• 신뢰도 점수와 영역 경계를 시각화하여 하위 영역이 분류기의 신뢰도에 어떻게 기여하는지 보여주기.
• 사용자가 분류 결정에 가장 영향을 미치는 이미지 영역을 탐색할 수 있도록 SAG에 상호작용 강조 기능 통합하기.
• VGGNet을 ImageNet에 적용하고, SAGs를 Grad-CAM 및 I-GOS 기준과 비교하는 대규모 사용자 연구를 통해 평가하기.

실험 결과

연구 질문

• RQ1 주어진 분류에 대해 이미지당 몇 개의 서로 다른 국소화된 고신뢰도 주의 맵이 존재하는가?
• RQ2 비트 서치가 낮은 해상도에서 동일한 예측을 고신뢰도로 설명하는 압축되고 다양한 주의 맵을 효율적으로 탐색할 수 있는가?
• RQ3 SAG와 같은 구조적 시각화 기법이 단일 시각화 지도와 비교해 CNN 결정에 대한 사용자 이해도를 향상시키는가?
• RQ4 SAGs가 이미지 분류에 대한 비교적 반대 조건 질문에 대한 사용자 정확도를 어느 정도 향상시키는가?
• RQ5 SAGs의 구성 요소 중에서 그래프 구조와 상호작용 강조 기능 중 어느 것이 사용자 성능 향상에 더 핵심적인가?

주요 결과

• 겹침을 允許하지 않을 경우 평균적으로 이미지당 2개의 고신뢰도 설명이 존재하며, 최대 한 개의 패치까지 겹침을 허용할 경우 약 2%의 이미지 영역을 차지하는 범위에서 평균 5개의 설명이 존재한다.
• ImageNet 이미지의 80% 이상에서 최소한 하나의 설명이 이미지 영역의 20% 이내를 커버하며, 이는 압축되고 국소화된 설명이 흔하다는 것을 시사한다.
• 저해상도에서 비트 서치가 Grad-CAM 및 I-GOS와 같은 기울기 기반 방법보다 압축된 설명을 더 잘 탐색함을 확인했다.
• 사용자들은 SAGs를 사용할 경우 Grad-CAM 및 I-GOS 대비 반대 조건 질문에 대한 정답률이 유의미하게 높아졌다 (p < 0.0001).
• SAGs를 사용할 경우 사용자는 정답에 대해 더 높은 자신감을 느끼고 오답에 대해서는 더 낮은 자신감을 느꼈으며, 이는 사용자의 정신 모델이 모델 행동과 잘 일치함을 시사한다.
• 절단 실험을 통해 SAGs의 그래프 구조와 상호작용 강조 기능이 모두 필수적임을 확인했다 — 둘 중 하나를 제거하면 성능이 유의미하게 저하됨 (p < 0.0001).