[논문 리뷰] Learning to Estimate Shapley Values with Vision Transformers

Ian Covert, Chanwoo Kim외 1명|arXiv (Cornell University)|2022. 06. 10.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

이 논문은 시각적 모델의 샤플리 값(S)을 효율적이고 정확하게 추정하기 위해 비전 트랜스포머(ViTs) 기반의 학습 가능한 설명자 모델을 제안한다. 이는 정확한 샤플리 값 계산의 계산 비용이 지나치게 높아 실용적이지 못한 문제를 해결한다. 새로운 손실 함수를 사용해 지도 데이터 없이 추정 오차를 제한하는 ViT를 훈련시킴으로써, 기존의 커널SHAP(KernelSHAP) 대비 최대 100배 빠른 속도로 고정밀도 설명을 제공하며, 여러 데이터셋에서 주의 기반, 기울기 기반, 제거 기반 방법들을 능가한다.

ABSTRACT

Transformers have become a default architecture in computer vision, but understanding what drives their predictions remains a challenging problem. Current explanation approaches rely on attention values or input gradients, but these provide a limited view of a model's dependencies. Shapley values offer a theoretically sound alternative, but their computational cost makes them impractical for large, high-dimensional models. In this work, we aim to make Shapley values practical for vision transformers (ViTs). To do so, we first leverage an attention masking approach to evaluate ViTs with partial information, and we then develop a procedure to generate Shapley value explanations via a separate, learned explainer model. Our experiments compare Shapley values to many baseline methods (e.g., attention rollout, GradCAM, LRP), and we find that our approach provides more accurate explanations than existing methods for ViTs.

연구 동기 및 목표

• 비전 트랜스포머(ViTs)에 대해 샤플리 값을 실용적으로 적용하기 위해, 지수적 복잡도로 인해 계산이 어려운 문제를 해결한다.
• 주의 마스킹을 통한 방식으로 ViT가 부분적인 입력 패치를 어떻게 처리하는지 분석함으로써, 부분 입력에 대한 강건성을 확보한다.
• 특수한 훈련 손실 함수를 사용해 샤플리 값을 효율적이고 정확하게 추정할 수 있는 학습 가능한 설명자 모델을 개발한다.
• 주의 기반, 기울기 기반, 제거 기반 설명 방법들과의 비교를 통해 정밀도와 정확도 측면에서 제안된 방법의 성능을 평가한다.
• 샤플리 값이 주의 또는 기울기보다도 모델 행동에 대해 더 신뢰할 수 있고 일관된 설명을 제공하는지 검증한다.

제안 방법

• 추론 중에 이미지 패치의 누락을 시뮬레이션하기 위해 주의 마스킹 전략을 사용함으로써, ViT가 부분적인 입력을 처리할 수 있도록 한다.
• 지침 데이터 없이도 샤플리 값 추정 오차를 최소화하도록 설계된 새로운 손실 함수를 사용해 별도의 미세조정된 ViT 설명자 모델을 훈련시킨다.
• 이 손실 함수는 이론적으로 탄탄하며 추정 오차를 제한함으로써, 훈련 과정에서 정확한 샤플리 값을 수렴하도록 보장한다.
• 설명자 모델은 단일 순방향 전파를 통해 전체 샤플리 값 설명을 생성함으로써, 커널SHAP와 같은 샘플링 기반 방법에 비해 상당한 속도 향상을 달성한다.
• ViT의 인덕티브 바이어스를 활용해 이미지 패치 간의 복잡한 기능 상호작용과 의존성을 모델링한다.
• 이미지 패치의 양성 및 음성 기여도를 강조하기 위해 분리형 콜러맵(icefire)을 사용해 설명을 시각화한다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머는 주의 마스킹을 통해 부분적인 입력 패치를 효과적으로 처리할 수 있는가? 이는 샤플리 값을 계산할 수 있도록 하는가?
• RQ2 지도 데이터 없이도 학습 가능한 ViT 설명자 모델이 낮은 계산 비용으로 높은 정확도로 샤플리 값을 추정할 수 있는가?
• RQ3 다양한 이미지 클래스와 데이터셋에서 샤플리 값 설명이 주의 기반, 기울기 기반, 제거 기반 방법들과 비교해 정밀도와 일관성 측면에서 어떻게 성능을 내는가?
• RQ4 샤플리 값 설명은 타겟 클래스와 비타겟 클래스에 대해 영향을 미치는 패치와 영향을 미치지 않는 패치를 정확히 식별하는가?
• RQ5 제안된 방법은 다른 방법들이 간과할 수 있는 모델의 혼동 요인(예: 배경 특징)을 드러내어 예측에 영향을 미칠 수 있는가?

주요 결과

• 제안된 ViT 샤플리 설명자 모델은 커널SHAP와 거의 동일한 설명 품질을 달성하며, 추정치의 95% 신뢰구간이 겹친다.
• ViT 샤플리 모델은 커널SHAP 대비 최대 100배 빠른 속도로 설명을 생성하며, 각 이미지에 대해 단일 순방향 전파만으로도 가능하다.
• ImageNette에서 ViT 샤플리 모델은 주의 롤아웃, GradCAM, LRP 등 모든 기준 모델보다 타겟 및 비타겟 클래스에 대해 관련 패치와 관련이 없는 패치를 더 잘 식별한다.
• MURA에서 ViT 샤플리 모델은 병변 관련 특징을 지속적으로 강조하며, LRP 및 기타 기준 모델보다 병변 관련 특징 탐지에서 뛰어난 성능을 보였다.
• Pets 데이터셋에서 ViT 샤플리 모델은 품종 특이적 특징(예: 입모양, 털 무늬)을 정확히 포착하지만, 배경에 대한 주의를 최소화하여 다른 방법들과 차별화된다.
• 비타겟 클래스 설명에서는 ViT 샤플리 모델이 모델이 잘못된 예측을 유도할 수 있는 배경 특징(예: 잔디, 하늘, 금속)을 정확히 식별하여, 다른 방법들이 간과하는 모델의 혼동 요인을 드러낸다.