[논문 리뷰] Saliency-Bench: A Comprehensive Benchmark for Evaluating Visual Explanations

Yifei Zhang, James Song외 5명|arXiv (Cornell University)|2023. 10. 12.

Explainable Artificial Intelligence (XAI)Computer Science인용 수 3

한 줄 요약

이 논문은 의료 영상 및 객체 인식과 같은 도메인에서 인간이 주석을付けた 설명을 포함한 8개의 다양한 데이터셋을 갖춘, 설명 가능한 AI(XAI)에서 시각적 설명을 평가하기 위한 종합적인 벤치마크인 Saliency-Bench를 소개한다. 이는 정합도 기반 및 원인 기반 메트릭을 사용하여 시각적 설명 방법의 표준화된 정량적 평가를 가능하게 하며, 통합 기울기(IG)와 RISE가 정합도와 충실도 측면에서 다른 방법들보다 뛰어나다는 것을 드러낸다.

ABSTRACT

Explainable AI (XAI) has gained significant attention for providing insights into the decision-making processes of deep learning models, particularly for image classification tasks through visual explanations visualized by saliency maps. Despite their success, challenges remain due to the lack of annotated datasets and standardized evaluation pipelines. In this paper, we introduce Saliency-Bench, a novel benchmark suite designed to evaluate visual explanations generated by saliency methods across multiple datasets. We curated, constructed, and annotated eight datasets, each covering diverse tasks such as scene classification, cancer diagnosis, object classification, and action classification, with corresponding ground-truth explanations. The benchmark includes a standardized and unified evaluation pipeline for assessing faithfulness and alignment of the visual explanation, providing a holistic visual explanation performance assessment. We benchmark these eight datasets with widely used saliency methods on different image classifier architectures to evaluate explanation quality. Additionally, we developed an easy-to-use API for automating the evaluation pipeline, from data accessing, and data loading, to result evaluation. The benchmark is available via our website: https://xaidataset.github.io.

연구 동기 및 목표

• 시각적 설명 평가를 위한 표준화되고 정량적인 벤치마크의 부족을 해결하기 위해.
• 성별 분류, 객체 검출, 의료 영상과 같은 도메인에서 인간이 주석을付けた 설명을 포함한 여덟 가지 다양한 데이터셋을 체계적으로 수집하기 위해.
• 통합된 파이프라인과 오픈소스 API를 통해 공정하고 재현 가능하며 종합적인 시각적 설명 방법 평가를 가능하게 하기 위해.
• 의료 진단과 같은 고위험 응용 분야에서 모델의 충실도와 인간의 정합도 사이의 격차를 메우기 위해.
• 표준화된 데이터 로딩, 설명 생성, 평가 워크플로우를 통해 다양한 방법 간 비교 및 재현 가능성을 향상시키기 위해.

제안 방법

• 벤치마크는 컴퓨터 비전의 이미지 분류 작업을 다루는 여덟 가지 데이터셋을 통합하며, 각각 모델 예측에 대해 인간이 제공한 설명이 주석이 되어 있다.
• 통합된 시각적 설명 파이프라인을 구현하여 데이터 로딩, 8개의 최신 기법(예: GradCAM, 통합 기울기, RISE, ViT)을 통한 설명 생성, 평가를 지원한다.
• 평가 프레임워크는 정합도 기반 메트릭 6개(L2, IoU, F1 등)와 원인 기반 메트릭 2개(삽입, 제거)를 포함하여 설명 품질을 평가한다.
• 인간 주석 설명은 철저한 독립적 레이블링 및 공감 절차를 통해 수집되어 신뢰성과 개인적 편향을 최소화한다.
• 연구자들이 접근성과 재현 가능성을 높이기 위해 데이터 로딩과 평가를 단순화하는 오픈소스 API를 공개한다.
• 벤치마크는 사후적 및 내재적 설명 방법을 모두 지원하여 기존 XAI 기법들과의 광범위한 호환성을 확보한다.

Figure 1 : Examples of images and human explanation annotations from our published dataset collection for four selected datasets.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 다양한 시각적 설명 방법이 인간 주석 설명과 얼마나 정합도가 높은가?
• RQ2 현재의 설명 방법들은 모델 예측에 대한 충실도를 얼마나 달성하면서도 인간의 사고 방식과 정합도를 유지하는가?
• RQ3 표준화된 정량적 메트릭이 여러 데이터셋과 방법 간 시각적 설명의 품질을 신뢰성 있게 구분할 수 있는가?
• RQ4 아키텍처 선택(예: CNN 대 ViT)은 생성된 색소맵의 해석 가능성과 정합도에 어떤 영향을 미치는가?
• RQ5 기존 평가 프로토콜의 한계는 무엇이며, Saliency-Bench는 이를 어떻게 향상시키는가?

주요 결과

• 통합 기울기(IG)는 Cat&Dog-XAI 데이터셋에서 0.9974의 최고 정합도 점수를 기록하여 F1 및 IoU 메트릭 모두에서 다른 방법들을 압도했다.
• RISE는 Object-XAI 데이터셋에서 F1 점수 0.857과 IoU 0.5266을 기록하여 설명 맵의 높은 공간 정밀도를 보였다.
• 비전 트랜스포머(ViT)는 GradCAM과 같은 국소화된 방법과 대비하여 복잡하고 분산된 추론 패턴을 더 잘 포착한 풍부한 다중 영역 주의 맵을 생성했다.
• 결절 분류 데이터셋에서 IG와 GBP 방법은 가장 높은 F1 점수(0.472 및 0.468)를 기록하여 인간 주석의 색소 영역과 강한 정합도를 보였다.
• GradCAM과 GradCAM++는 높은 충실도를 보였지만 정합도는 낮아, 인간 인식과 완전히 일치하지 않는 모델 관련 영역을 강조할 수 있음을 시사했다.
• 벤치마크는 데이터 소스의 불일치가 있는 데이터셋(예: 췌장 종양 데이터셋)에서 모델이 종양 위치보다 이미지 출처에 의존할 수 있는 잠재적 편향을 드러냈다.