[논문 리뷰] Removing input features via a generative model to explain their attributions to a classifier's decisions

Chirag Agarwal, Dan Schonfeld외 1명|arXiv (Cornell University)|2019. 01. 01.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

이 논문은 히우리스틱적 제거 기법(예: 흐림, 노이즈) 대신 생성적 인painting 기법을 기여도 방법에 통합하여 입력 특징을 현실적으로 제거하는 것을 제안한다. 이 방법은 더 현실적인 반사적 샘플을 생성하고, 초모수에 대한 민감도를 낮추며, ImageNet과 Places365에서 객체 정위, 삭제, 색소리티 메트릭스 등 다양한 기준에서 정확도를 향상시킨다.

ABSTRACT

Interpretability methods often measure the contribution of an input feature to an image classifier's decisions by heuristically removing it via e.g. blurring, adding noise, or graying out, which often produce unrealistic, out-of-samples. Instead, we propose to integrate a generative inpainter into three representative attribution methods to remove an input feature. Compared to the original counterparts, our methods (1) generate more plausible counterfactual samples under the true data generating process; (2) are more robust to hyperparameter changes; and (3) are more accurate according to three metrics: object localization, deletion and saliency metrics. Our findings were consistent across both ImageNet and Places365 datasets and two different pairs of classifiers and inpainters.

연구 동기 및 목표

• 흐림, 노이즈 등의 히우리스틱적 특징 제거 방법이 현실적이지 않거나 분포 외 샘플을 생성하는 한계를 해결한다.
• 진짜 데이터 생성 과정을 모델링함으로써 반사적 샘플의 신뢰도를 향상시킨다.
• 초모수 변화에 대한 기여도 방법의 강건성을 향상시킨다.
• 객체 정위, 삭제, 색소리티 점수와 같은 표준 메트릭스를 사용해 특징 기여도의 정확도를 높인다.
• 다양한 데이터셋(ImageNet, Places365)과 모델 조합에서 일관된 성능 향상을 입증한다.

제안 방법

• 히우리스틱적 특징 제거를 대체하여, 맵핑된 입력 영역을 맥락을 이용해 재구성하는 딥 생성적 인painter를 사용한다.
• 세 가지 기존 기여도 방법(Grad-CAM, GradCAM++, Score-CAM)에 인painter를 통합한다.
• 특징이 제거될 때, 순방향 전파 중에 현실적인 반사적 입력을 생성하기 위해 인painter를 적용한다.
• 이러한 인paint된 입력에 대한 모델 예측을 사용해 특징 기여도를 계산함으로써 데이터 다양체와의 일관성을 확보한다.
• 분류기와 동일한 분포에서 인painter를 훈련시켜 현실적인 특징 분포를 유지한다.
• 엔드 투 엔드 미분 가능성을 유지하여, 인paint된 입력에서 기반 기반 기여도 계산이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 생성적 인painter가 히우리스틱 제거 방법보다 더 현실적인 반사적 샘플을 생성할 수 있는가?
• RQ2 특징 제거에 생성 모델을 사용하면 기여도 방법의 초모수 선택에 대한 강건성이 향상되는가?
• RQ3 제안된 방법이 표준 평가 메트릭스에서 기여도 정확도를 얼마나 향상시키는가?
• RQ4 이 방법은 다양한 데이터셋과 분류기-인painter 조합에서 어떻게 성능을 발휘하는가?
• RQ5 생성적 인painting을 사용하면 이미지 분류 결정에서 중요한 영역을 더 충실하게 정위할 수 있는가?

주요 결과

• 제안된 방법은 히우리스틱 제거 방법에 비해 더 현실적이고 진짜 데이터 분포와 일치하는 반사적 샘플을 생성한다.
• 생성적 인painter를 사용하는 기여도 방법은 모든 테스트 설정에서 초모수 변화에 대해 더 강건한 성능을 보인다.
• 기본 방법에 비해 객체 정위, 삭제, 색소리티 메트릭스에서 더 높은 정확도를 달성한다.
• ImageNet과 Places365 데이터셋 모두에서 성능 향상이 일관되게 관찰된다.
• 두 가지 다른 분류기-인painter 쌍에서 강력한 성능 유지로 아키텍처 간 일반화 능력이 입증된다.
• 생성적 인painting 통합은 모델 재학습 없이도 더 신뢰할 수 있고 해석 가능한 특징 기여도를 제공한다.