[논문 리뷰] XRAI: Better Attributions Through Regions

Andrei Kapishnikov, Tolga Bolukbasi외 2명|arXiv (Cornell University)|2019. 06. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 29인용 수 7

한 줄 요약

XRAI는 통합 기울기 기반으로 반복적으로 중요한 이미지 세그먼트를 식별하고 융합함으로써 색소맵을 향상시키는 새로운 영역 기반 기여도 방법이다. ImageNet에서 기존 방법들을 능가하며, 약한 감독된 국소화에서 AUC(0.836)와 F1(0.786)을 기록했고, 신뢰성 있는 평가를 위한 성능 정보 곡선(PICs)과 펌프테이션 기반 사고 검증을 도입하였다.

ABSTRACT

Saliency methods can aid understanding of deep neural networks. Recent years have witnessed many improvements to saliency methods, as well as new ways for evaluating them. In this paper, we 1) present a novel region-based attribution method, XRAI, that builds upon integrated gradients (Sundararajan et al. 2017), 2) introduce evaluation methods for empirically assessing the quality of image-based saliency maps (Performance Information Curves (PICs)), and 3) contribute an axiom-based sanity check for attribution methods. Through empirical experiments and example results, we show that XRAI produces better results than other saliency methods for common models and the ImageNet dataset.

연구 동기 및 목표

• 딥 러닝 예측에 영향을 주는 의미적으로 유의미한 이미지 영역을 식별할 수 있는 더 정확하고 강건한 색소맵 방법을 개발하는 것.
• 다중 객체가 포함된 복잡한 시나리오에서 일반화 능력이 떨어지고 고립된 출력이 발생하는 픽셀 수준 기여도 방법의 한계를 해결하는 것.
• 시각적 직관과 표준 국소화 지표와 일치하는 새로운 평가 프레임워크를 도입하는 것.
• 기여도 방법이 의미 있는 입력 변화에 대해 올바르게 반응하는지 확인할 수 있는 사고 검증을 제공하는 것.
• 픽셀 수준 방법보다 영역 수준 기여도가 더 신뢰성 있고 해석 가능한 설명을 제공할 수 있음을 보여주는 것.

제안 방법

• XRAI는 유사도 기준(예: 색상)을 사용해 입력 이미지를 초초과세그먼트로 과다 분할한다.
• 각 세그먼트에 대해 통합 기울기 기여도를 계산하고 예측 중요도 기준으로 정렬한다.
• 최고 점수를 받는 세그먼트를 점진적으로 융합함으로써 밀도가 높고 의미적으로 일관된 색소맵 영역을 형성한다.
• 입력 변화가 출력 변화에 영향을 주는 경우 기여도가 비영이 아님을 검증하는 펌프테이션 기반 사고 검증을 사용한다.
• 성능 정보 곡선(PICs)은 가장 눈에 띄는 영역을 점진적으로 선명하게 하고, 모델 성능과 웹프(WebP) 압축을 통한 이미지 엔트로피를 측정함으로써 구성된다.
• 기여도 품질 평가를 위해 정확도 정보 곡선(AICs)과 소프트맥스 정보 곡선(SICs)을 도입하여 정보량에 따라 예측 정확도와 소프트맥스 신뢰도를 측정한다.

실험 결과

연구 질문

• RQ1 영역 기반 기여도 방법은 통합 기울기와 같은 픽셀 수준 방법보다 더 정확하고 해석 가능한 색소맵을 생성할 수 있는가?
• RQ2 정보량에 따른 예측 능력을 측정하는 새로운 지표를 사용할 경우, 다양한 색소맵 방법의 성능은 어떻게 평가되는가?
• RQ3 출력 변화가 크게 발생하는 경우에도 기여도가 0인 경우가 발생하는 기존 색소맵 방법은 기본 사고 검증에 실패하는가?
• RQ4 제안된 평가 프레임워크(PICs)는 시각적 검토와 표준 국소화 지표와 일치하는 방식으로 색소맵 방법을 신뢰성 있게 순위 매길 수 있는가?
• RQ5 XRAI의 영역 성장 전략은 GradCAM이 단일 원형 영역에 치우쳐 있는 것과 달리, 복잡한 이미지에서 다중 객체를 더 잘 국소화하는가?

주요 결과

• XRAI는 ImageNet 세그먼트 데이터셋에서 AUC 0.836, F1 0.786을 기록하여 GradCAM(AUC 0.742, F1 0.715)과 통합 기울기 변형보다 유의미하게 뛰어났다.
• SIC 지표에서 XRAI는 ResNet50-V2에서 곡선 아래 면적 0.749, Inception에서 0.720을 기록하여 GradCAM과 다양한 기준을 사용한 IG를 포함한 모든 다른 방법보다 뛰어났다.
• 펌프테이션 기반 사고 검증 결과, 기울기, 기울기×입력, 통합 기울기 방법은 민감한 특징이 큰 출력 변화를 일으키지만 기여도가 0인 경우에 실패할 수 있음을 확인했다.
• 그림 1에서 보듯이, XRAI의 영역 수준 기여도는 픽셀 수준의 IG보다 더 강건했으며, 기울기가 높지만 총합이 거의 0에 가까운 영역이 정확히 배제된 점을 확인할 수 있었다.
• 성능 정보 곡선(PICs)은 시각적 색소맵 품질과 정량적 순위 간의 강력한 일치를 보였으며, 이는 프레임워크의 효과성을 검증하였다.
• 시각적 비교 결과, XRAI는 GradCAM이 중심 또는 원형 영역에 치우쳐 있는 것과 달리, 새, 개 등 다중 객체를 조밀하고 겹치지 않는 영역으로 더 잘 국소화하는 것으로 나타났다.