[논문 리뷰] Ground Truth Evaluation of Neural Network Explanations with CLEVR-XAI

Leila Arras, Ahmed Osman외 1명|arXiv (Cornell University)|2020. 03. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 57인용 수 19

한 줄 요약

이 논문은 시각질의 질문 응답(VQA) 작업을 위한 지도된 픽셀 수준 설명을 갖춘 새로운 벤치마크 데이터셋인 CLEVR-XAI를 소개한다. 이는 신경망 설명의 객관적 평가를 가능하게 한다. CLEVR 데이터셋의 합성적이고 현실적인 3D 장면을 활용하여 정확한 개체 기반 중요도 마스크를 생성함으로써, 통제된 조건에서 선택적이고 현실적인 환경에서 10종의 XAI 방법을 평가한다. 그 결과, 계층별 중요도 전파(LRP), 통합 기울기(IG), 가이드드 백프로파게이션은 가장 높은 정확도를 보였고, DeconvNet과 Grad-CAM은 가장 낮은 성능을 보였다.

ABSTRACT

The rise of deep learning in today's applications entailed an increasing need in explaining the model's decisions beyond prediction performances in order to foster trust and accountability. Recently, the field of explainable AI (XAI) has developed methods that provide such explanations for already trained neural networks. In computer vision tasks such explanations, termed heatmaps, visualize the contributions of individual pixels to the prediction. So far XAI methods along with their heatmaps were mainly validated qualitatively via human-based assessment, or evaluated through auxiliary proxy tasks such as pixel perturbation, weak object localization or randomization tests. Due to the lack of an objective and commonly accepted quality measure for heatmaps, it was debatable which XAI method performs best and whether explanations can be trusted at all. In the present work, we tackle the problem by proposing a ground truth based evaluation framework for XAI methods based on the CLEVR visual question answering task. Our framework provides a (1) selective, (2) controlled and (3) realistic testbed for the evaluation of neural network explanations. We compare ten different explanation methods, resulting in new insights about the quality and properties of XAI methods, sometimes contradicting with conclusions from previous comparative studies. The CLEVR-XAI dataset and the benchmarking code can be found at https://github.com/ahmedmagdiosman/clevr-xai.

연구 동기 및 목표

• 컴퓨터 시각 분야에서 신경망 설명에 대한 객관적이고 지도 기반 평가의 부족을 해결하기 위해.
• 픽셀 편열이나 개체 국소화와 같은 대체 평가 지표에 의존하지 않고, 통제된, 선택적인, 현실적인 환경에서 XAI 방법을 평가하기 위한 테스트베드를 구축하기 위해.
• VQA 예측에 대해 정확하고 인간에 의해 애너테이션된 지도 기반 중요도 마스크를 갖춘 벤치마크 데이터셋을 제공하기 위해.
• 통일된 객관적 평가 프레임워크 하에서 10종의 사후 해석 XAI 방법의 성능을 비교하기 위해.
• 이전의 정성적 결론을 도전하기 위해, 경험적이고 정량적인 통찰을 제공함으로써, XAI 방법의 품질에 대한 기존의 정성적 결론을 재고하기 위해.

제안 방법

• 저자들은 CLEVR VQA 데이터셋을 확장하여, 각 질문에 대해 답변과 관련된 이미지 영역을 나타내는 픽셀 수준의 지도 기반 마스크를 생성한다.
• 지도 기반 마스크는 질문의 의미적 내용에 기반하여, 각 질문에 답하기 위해 필요한 이미지 내 개체를 식별함으로써 생성된다.
• 평가 프레임워크는 이러한 마스크를 사용하여 중요도 정확도를 계산하며, 이는 XAI 히트맵이 진짜로 관련된 이미지 영역과 얼마나 잘 일치하는지 측정한다.
• Grad-CAM, LRP, 통합 기울기, 가이드드 백프로파게이션 등 10종의 사후 해석 XAI 방법이 동일한 테스트 세트와 메트릭을 사용하여 평가된다.
• 평가 작업은 표준 관계 네트워크 기반 VQA 모델에서 수행되어, 훈련 및 추론 조건의 일관성을 확보한다.
• 메트릭으로는 질량 정확도와 개체 기반 정확도가 포함되며, 결과는 여러 종류의 질문과 이미지 변형에 걸쳐 집계된다.

실험 결과

연구 질문

• RQ1 어느 XAI 방법이 주어진 VQA 예측에 대해 진짜로 관련된 이미지 영역을 가장 정확하게 반영하는 히트맵을 생성하는가?
• RQ2 XAI 방법의 성능은 질문 유형(예: 세는 질문, 속성 기반 질문, 관계 기반 질문 등)에 따라 어떻게 달라지는가?
• RQ3 지도 기반 평가가 픽셀 편열이나 국소화와 같은 대체 평가 방법에 의해 가려졌던 성능 차이를 드러내는가?
• RQ4 정적 방법이 확률적 또는 기울기 통합 기반 방법보다 중요도 정확도 측면에서 얼마나 더 뛰어나게 성능을 내는가?
• RQ5 모델의 예측 신뢰도와 XAI 설명의 정확도 사이에 상관관계가 존재하는가?

주요 결과

• 계층별 중요도 전파(LRP)와 통합 기울기(IG)가 가장 높은 중요도 정확도를 기록했으며, LRP는 특히 복잡하고 가림이 있는 장면에서도 강력한 성능을 보였다.
• 가이드드 백프로파게이션 역시 뛰어난 성능을 보였으며, 특히 관련된 개체를 정확히 국소화하는 데 효과적이었다. 이는 기능 중요도를 효과적으로 포착한다는 것을 시사한다.
• DeconvNet과 Grad-CAM는 가장 낮은 정확도를 보였으며, 일반적으로 관련된 개체를 국소화하지 못하거나 중요도를 관련이 없는 이미지 영역으로 퍼뜨리는 경향이 있었다.
• XAI 방법의 성능은 모델의 예측 신뢰도와 상관관계가 있었으며, 높은 신뢰도 예측에서는 더 정확한 설명이 도출되었다.
• 지도 기반 평가 결과, 이전에는 대체 지표(예: Grad-CAM)에 의해 신뢰할 수 있다고 여겨졌던 일부 방법이 실제 중요도 마스크와 비교했을 때 떨어진 성능을 보였다.
• 벤치마크는 기울기 통합 기반 방법(예: IG)이나 단일 백프로파게이션 기반 방법(예: LRP, 가이드드 백프로파게이션)이 편향 또는 기준선 입력이 필요한 방법들(예: SmoothGrad)보다 성능이 뛰어나다는 것을 입증했다.