[논문 리뷰] Towards Ground Truth Evaluation of Visual Explanations

Ahmed Osman, Leila Arras외 1명|arXiv (Cornell University)|2020. 03. 16.

Multimodal Machine Learning Applications참고 문헌 51인용 수 12

한 줄 요약

이 논문은 제어된 환경에서 시각적 설명을 평가하기 위해 알려진 지정된 픽셀 수준의 관련성과 함께 합성적이고 CLEVR 유사한 시각적 질의응답 데이터셋을 소개한다. 이 벤치마크를 사용하여, 두 가지 새로운 평가 지표를 제안하고, 관계 네트워크 모델의 예측을 설명하는 데 있어 레이어별 관련성 전파가 기울기 × 입력과 통합 기울기보다 우수한 성능을 보임을 입증한다.

ABSTRACT

Several methods have been proposed to explain the decisions of neural networks in the visual domain via saliency heatmaps (aka relevances/feature importance scores). Thus far, these methods were mainly validated on real-world images, using either pixel perturbation experiments or bounding box localization accuracies. In the present work, we propose instead to evaluate explanations in a restricted and controlled setup using a synthetic dataset of rendered 3D shapes. To this end, we generate a CLEVR-alike visual question answering benchmark with around 40,000 questions, where the ground truth pixel coordinates of relevant objects are known, which allows us to validate explanations in a fair and transparent way. We further introduce two straightforward metrics to evaluate explanations in this setup, and compare their outcomes to standard pixel perturbation using a Relation Network model and three decomposition-based explanation methods: Gradient x Input, Integrated Gradients and Layer-wise Relevance Propagation. Among the tested methods, Layer-wise Relevance Propagation was shown to perform best, followed by Integrated Gradients. More generally, we expect the release of our dataset and code to support the development and comparison of methods on a well-defined common ground.

연구 동기 및 목표

• 딥 러닝에서 시각적 설명 방법에 대한 신뢰할 수고 투명한 평가의 부족을 해결하기 위해.
• 질문에 대해 각 픽셀 수준에서 알려진 진짜 관련성을 가진 제어된 합성 데이터셋을 만들기 위해.
• 실제 세계 데이터의 모호성 없이 시각적 설명의 평가 지표를 개발하고 검증하기 위해.
• 기울기 × 입력, 통합 기울기, 레이어별 관련성 전파와 같은 인기 있는 설명 방법의 성능을 제어된 조건에서 비교하기 위해.
• 미래의 개발과 설명 방법 간 공정한 비교를 위한 공개 가능한 벤치마크를 제공하기 위해.

제안 방법

• 저자는 CLEVR와 유사한 렌더링된 3D 장면의 합성 데이터셋을 생성하여 약 40,000개의 시각적 질의응답 쌍을 포함한다.
• 각 질문에 대해 진짜 관련 픽셀(즉, 질문에 언급된 객체들)이 픽셀 수준에서 명시적으로 레이블이 지정되어 있다.
• 설명 히트맵과 진짜 관련성 간의 일치를 정량화하기 위해 두 가지 새로운 평가 지표를 도입한다.
• 예측을 생성하기 위해 데이터셋에서 관계 네트워크 모델을 훈련시키고, 이후 세 가지 분해 기반 방법(기울기 × 입력, 통합 기울기, 레이어별 관련성 전파)을 사용하여 설명을 수행한다.
• 제안된 지표와 표준 픽셀 편열 기법을 비교하기 위해 설명을 평가한다.
• 전체 데이터셋과 코드는 재현성 및 향후 벤치마킹을 지원하기 위해 공개된다.

실험 결과

연구 질문

• RQ1 지정된 진짜 관련성이 있는 합성 데이터셋에서 다양한 설명 방법의 성능은 어떻게 되는가?
• RQ2 픽셀 수준의 관련성에 특화된 새로운 지표는 설명 평가의 공정성과 투명성을 향상시킬 수 있는가?
• RQ3 진짜 관련성 평가와 편열 기반 평가를 사용할 때 설명 방법의 성능는 어떻게 달라지는가?
• RQ4 어느 설명 방법이 이미지 내 진짜 관련 객체와 가장 일치하는 히트맵을 생성하는가?
• RQ5 제어된 합성 설정이 시각적 설명의 신뢰할 수 있고 해석 가능한 평가를 얼마나 잘 가능하게 하는가?

주요 결과

• 레이어별 관련성 전파가 평가된 방법들 중에서 진짜 관련성과 가장 높은 성능을 보였다.
• 통합 기울기는 높은 정확도로 두 번째로 뛰어난 성능을 보였다.
• 기울기 × 입력은 가장 낮은 효과를 보였으며, 세밀한 관련성을 포착하는 데 한계가 있음을 시사했다.
• 제안된 평가 지표는 표준 픽셀 편열보다 성능 차이를 더 신뢰성 있게 탐지했다.
• 합성 데이터셋 덕분에 알려진 진짜 관련성 덕분에 투명하고 재현 가능하며 공정한 설명 방법 평가가 가능했다.
• 데이터셋과 코드의 공개는 시각적 설명 연구 분야에서 표준화된 벤치마킹과 방법 개발을 촉진할 것으로 기대된다.