[논문 리뷰] Quantitative Evaluations on Saliency Methods: An Experimental Study

Xiaohui Li, Yuhan Shi외 5명|arXiv (Cornell University)|2020. 12. 31.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 14

한 줄 요약

이 논문은 ImageNet, VOC, COCO 데이터셋에서 다섯 가지 메트릭—신뢰성, 국소화, 임의 양성, 민감도, 안정성—을 사용하여 사전 지도 방법에 대한 종합적인 정량 평가를 수행한다. 어떤 메트릭에서나 우월한 성능을 보이는 단일 방법은 존재하지 않지만, Grad-CAM과 RISE는 일관되게 뛰어난 성능을 보이며, 저자들은 새로운 IoSR 메트릭을 제안하고 메트릭 조합을 통해 '현명한 하스' 현상을 규명한다.

ABSTRACT

It has been long debated that eXplainable AI (XAI) is an important topic, but it lacks rigorous definition and fair metrics. In this paper, we briefly summarize the status quo of the metrics, along with an exhaustive experimental study based on them, including faithfulness, localization, false-positives, sensitivity check, and stability. With the experimental results, we conclude that among all the methods we compare, no single explanation method dominates others in all metrics. Nonetheless, Gradient-weighted Class Activation Mapping (Grad-CAM) and Randomly Input Sampling for Explanation (RISE) perform fairly well in most of the metrics. Utilizing a set of filtered metrics, we further present a case study to diagnose the classification bases for models. While providing a comprehensive experimental study of metrics, we also examine measuring factors that are missed in current metrics and hope this valuable work could serve as a guide for future research.

연구 동기 및 목표

• 다양한 평가 메트릭을 기반으로 널리 사용되는 사전 지도 방법들 간의 체계적이고 정량적인 비교를 제공하기 위해.
• 표준화되고 기능적으로 기반한 메트릭을 사용하여 기존 XAI 방법들의 강점과 약점을 규명하기 위해.
• 사전 지도 지도의 밀도를 더 잘 반영하기 위해 새로운 국소화 메트릭인 IoSR를 제안하기 위해.
• 다양한 메트릭 조합 분석을 통해 모델 예측에서의 허위 상관관계인 '현명한 하스' 현상을 탐지하기 위해.
• 응용 분야의 우선순위에 따라 적절한 설명 방법을 선택할 수 있도록 실무자들을 안내하기 위해.

제안 방법

• 저자들은 ImageNet, VOC, COCO 데이터셋에서 여섯 가지 사전 지도 방법—Grad-CAM, RISE, Grad-CAM++, SmoothGrad, Integrated Gradients, LRP—을 평가한다.
• 다섯 가지 기능적으로 기반한 메트릭을 적용한다: 신뢰성(iAUC를 통해), 국소화(Pointing Game 및 IoSR를 통해), 임의 양성(확장된 BAM 데이터셋을 통해), 민감도(모델 가중치 및 클래스 변경에 대한 민감도), 안정성(입력 변형에 대한 안정성).
• 사전 지도 지도의 국소화 정도를 평가하기 위해 새로운 메트릭인 '사전 지도 영역에 대한 교차율(IoSR)'을 도입한다.
• 더 많은 객체 카테고리와 환경를 포함하도록 BAM 데이터셋을 확장하여 가짜 양성 설명을 더 잘 탐지할 수 있도록 한다.
• 다중 메트릭 진단 프레임워크를 적용하여 '현명한 하스' 예시—즉, 진정한 특징이 아닌 허위 특징에 의존하여 정확한 예측을 내리는 경우—를 식별한다.
• 실험은 블랙박스 모델로 ResNet50를 사용하며, 백프로파게이션 및 변형 기반 방법을 통해 설명을 생성한다.

실험 결과

연구 질문

• RQ1 다양한 평가 메트릭에서 가장 우수한 성능을 보이는 사전 지도 방법은 무엇이며, 전반적으로 우월한 방법이 존재하는가?
• RQ2 기존 메트릭—신뢰성, 국소화, 임의 양성, 민감도, 안정성—은 실제로 다른 사전 지도 방법들을 어떻게 순위 매기는가?
• RQ3 사전 지도 방법들이 진정한 특징이 아닌 허위 상관관계에 의존하는 '현명한 하스' 행동을 얼마나 많이 보이는가?
• RQ4 메트릭의 조합이 블랙박스 모델의 실패 모드를 효과적으로 탐지하고 진단하는 데 유용한가?
• RQ5 해당 메트릭들에서 해상도(Grad-CAM)나 분산도(RISE)와 같은 메서드의 내재적 특성이 성능에 어떤 영향을 미치는가?

주요 결과

• 모든 다섯 가지 평가 메트릭에서 최적의 성능을 내는 단일 사전 지도 방법은 존재하지 않으며, 이는 해석 가능성 성질 간의 상충 관계를 시사한다.
• Grad-CAM과 RISE는 신뢰성, 국소화, 민감도, 안정성에서 일관되게 뛰어난 성능을 보이며, Grad-CAM은 더 높은 가짜 양성 비율을, RISE는 낮은 IoSR 점수를 보인다.
• 제안된 IoSR 메트릭은 사전 지도 지도의 밀도를 효과적으로 반영하며, RISE가 Grad-CAM에 비해 더 산산이 흩어진 설명을 생성한다는 점을 드러낸다.
• 확장된 BAM 데이터셋을 통해 가짜 양성 설명을 탐지할 수 있었으며, 특히 '모터사이클'이 '사람' 분류에 대해 허위 특징에 의존하는 경우에 효과적이다.
• 다중 메트릭 진단 프레임워크는 VOC 및 COCO 데이터셋에서 '현명한 하스' 예시를 성공적으로 식별했으며, 예를 들어 '말'이나 '모터사이클' 존재에 기반해 '사람'으로 예측하는 경우를 포함한다.
• 실제 테스트 데이터에서 허위 상관관계로 인한 가짜 양성 예측가 관찰되었으며, 예를 들어 '모터사이클'이 관련 없는 특징에 기반해 '사람'으로 잘못 분류되는 경우가 있었다.