[논문 리뷰] What You See is What You Classify: Black Box Attributions

Steven Stalder, Nathanaël Perraudin외 3명|arXiv (Cornell University)|2022. 05. 23.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 사전에 훈련된 고정된 '해석 대상' 분류기에서 손실 함수를 기반으로 하여, 별도의 '해석자' 네트워크를 훈련시켜 날카럽고 클래스 특정의 속성 마스크를 생성하는 새로운 방법을 제안한다. 기존의 기울기 기반 또는 변형 기반 방법과 달리, 해석자는 단일 순방향 전파로 정밀하고 경계 정확도가 높은 마스크를 생성하며, PASCAL VOC-2007 및 COCO-2014 벤치마크에서 시각적 및 정량적 성능 면에서 뛰어난 성능을 보인다.

ABSTRACT

An important step towards explaining deep image classifiers lies in the identification of image regions that contribute to individual class scores in the model's output. However, doing this accurately is a difficult task due to the black-box nature of such networks. Most existing approaches find such attributions either using activations and gradients or by repeatedly perturbing the input. We instead address this challenge by training a second deep network, the Explainer, to predict attributions for a pre-trained black-box classifier, the Explanandum. These attributions are provided in the form of masks that only show the classifier-relevant parts of an image, masking out the rest. Our approach produces sharper and more boundary-precise masks when compared to the saliency maps generated by other methods. Moreover, unlike most existing approaches, ours is capable of directly generating very distinct class-specific masks in a single forward pass. This makes the proposed method very efficient during inference. We show that our attributions are superior to established methods both visually and quantitatively with respect to the PASCAL VOC-2007 and Microsoft COCO-2014 datasets.

연구 동기 및 목표

• 블랙박스 딥 이미지 분류기의 해석 문제를 해결하기 위해 특정 클래스 예측에 기여하는 이미지 영역을 식별하는 것.
• 기존 방법의 한계를 극복하기 위해 기울기 기반 접근법의 경우 흐릿한 속성 지도 또는 변형 기반 접근법의 경우 높은 계산 비용 문제를 해결하는 것.
• 단일 순방향 전파에서 클래스 특정 마스크를 생성하는 모델에 종속되지 않은 효율적이고 정밀한 속성 추정 방법을 개발하는 것.
• 의료 영상 및 규제 준수와 같은 고위험 응용 분야에서 신뢰할 수 있고 시각적으로 해석 가능한 속성 제공을 통해 설명 가능성 향상

제안 방법

• 사전에 훈련된 고정된 '해석 대상' 분류기의 클래스 특정 속성 마스크를 예측하기 위해 전용의 컨볼루션 신경망인 '해석자'를 훈련하는 것.
• 해석자의 출력 로짓과 특징 맵을 사용하여 훈련 중에 해석자가 각 클래스에 대해 가장 관련성이 높은 이미지 영역을 학습할 수 있도록 지도 신호를 제공하는 것.
• 속성 추정 문제를 지도 메타학습 문제로 공식화하여, 해석자가 해석자의 반응에 기반해 정보 유지와 삭제 사이의 균형을 학습하도록 하는 것.
• 추론 시 단일 순방향 전파로 마스크를 생성하여, 변형 기반 방법보다 수개의 순서로 더 빠른 추론을 가능하게 하는 것.
• PASCAL VOC-2007 및 COCO-2014의 지도 세그멘테이션 맵을 사용하여 훈련에 지도 신호를 제공하며, 손실 함수로는 IoU, MAE 및 속성 지수를 포함하는 것.
• 해석자가 생성하는 마스크가 공간적으로 정밀하고 해석자의 각 클래스에 대한 자신감과 일치하도록 하는 다중 작업 학습 목표를 적용하는 것.

실험 결과

연구 질문

• RQ1 학습된 해석자 네트워크는 Grad-CAM과 같은 기울기 기반 방법보다 더 날카럽고 경계 정확도가 높은 속성 마스크를 생성할 수 있는가?
• RQ2 제안된 방법은 PASCAL VOC-2007 및 COCO-2014와 같은 표준 벤치마크에서 기존의 속성 추정 기법보다 더 뛰어난 정량적 성능을 달성하는가?
• RQ3 해석자는 반복적인 변형 없이 단일 순방향 전파로 효율적으로 서로 다른 클래스에 맞는 마스크를 생성할 수 있는가?
• RQ4 VGG-16 및 ResNet-50와 같은 다양한 해석자 아키텍처에서 해석자의 성능은 어떻게 변화하는가?
• RQ5 생성된 마스크가 배경 편향이나 저수준 패턴이 아닌 분류기 관련 특징을 얼마나 잘 반영하고 있는가?

주요 결과

• 시각적 비교를 통해 VOC-2007에서 Grad-CAM 및 극단적 변형(Extremal Perturbations, EP)에 비해 제안된 방법이 훨씬 날카럽고 경계 정확도가 높은 속성 마스크를 생성하는 것으로 확인되었다.
• PASCAL VOC-2007 데이터셋에서 해석자는 평균 교차율(IoU) 0.68과 속성 지수 0.82를 기록하여 기준선 방법들을 능가하는 성능을 보였다.
• COCO-2014 데이터셋에서 해석자는 평균 IoU 0.59와 속성 지수 0.75를 기록하여 다양한 데이터셋 간의 강력한 일반화 능력을 입증하였다.
• 이 방법은 계산적으로 효율적이며, 테스트 이미지당 단일 순방향 전파만으로도 충분하여 변형 기반 방법보다 수개의 순서로 더 빠른 속도를 제공한다.
• VGG-16 및 ResNet-50 모두에서 해석자는 일관되게 뛰어난 성능을 보였지만, ResNet-50 기반 COCO-2014에서 약간의 성능 저하가 관찰되어 일부 아키텍처 의존적 일반화 과제가 있음을 시사한다.
• 해석자가 생성한 마스크는 매우 간결하여 필수적인 특징만 유지한다. 마스크가 적용된 입력을 해석자에 입력했을 때 정확도가 약간 감소함을 통해 배경에 의존하는 편향이 제거된 것으로 나타났다.