[논문 리뷰] New Definitions and Evaluations for Saliency Methods: Staying Intrinsic, Complete and Sound

Arushi Gupta, Nikunj Saunshi외 3명|arXiv (Cornell University)|2022. 11. 05.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 기존의 마스크 기반 평가 방식의 결함을 해결하기 위해 완전성과 타당성을 동시에 강제하는 새로운 내재적 평가 프레임워크를 제안한다. 새로운 샐리언시 방법을 제안하고, 총 변동(Total Variation, TV) 정규화가 임의의 마스크 아티팩트를 감소시켜 선형 및 딥 네트워크에서 더 신뢰할 수 있는 설명을 가능하게 함으로써 타당성을 향상시킨다.

ABSTRACT

Saliency methods compute heat maps that highlight portions of an input that were most {\em important} for the label assigned to it by a deep net. Evaluations of saliency methods convert this heat map into a new {\em masked input} by retaining the $k$ highest-ranked pixels of the original input and replacing the rest with extquotedblleft uninformative extquotedblright\ pixels, and checking if the net's output is mostly unchanged. This is usually seen as an {\em explanation} of the output, but the current paper highlights reasons why this inference of causality may be suspect. Inspired by logic concepts of {\em completeness \& soundness}, it observes that the above type of evaluation focuses on completeness of the explanation, but ignores soundness. New evaluation metrics are introduced to capture both notions, while staying in an {\em intrinsic} framework -- i.e., using the dataset and the net, but no separately trained nets, human evaluations, etc. A simple saliency method is described that matches or outperforms prior methods in the evaluations. Experiments also suggest new intrinsic justifications, based on soundness, for popular heuristic tricks such as TV regularization and upsampling.

연구 동기 및 목표

• 표준 내재적 평가 방식에서 타당성이 부족한 문제를 해결하기 위해, 이는 오직 완전성만 검증하기 때문이다.
• 타당성을 타당한 설명을 위한 필수 조건으로 정의하여, 잘못된 레이블이 샐리언시 마스크에 의해 정당화될 수 없도록 보장한다.
• 인간의 주석이나 보조 네트워크를 사용하지 않고 원본 모델과 데이터만을 사용하는 새로운 내재적 평가 프레임워크를 개발한다.
• 샐리언시 방법에서 일반적으로 사용되는 히وري스틱 기법인 TV 정규화의 이론적 및 실증적 근거를 제공한다.
• 새로운 평가 기준에서 최고 성능을 달성하는 새로운 샐리언시 방법을 제안한다.

제안 방법

• 논리적 완전성과 타당성 기반의 공식적 프레임워크를 도입하여 샐리언시 방법을 평가하며, 설명이 오직 올바른 예측만 정당화하도록 요구한다.
• 이진 마스크 M을 통해 마스킹된 입력을 정의하며, 여기서는 상위-k 샐리언시 점수를 가진 픽셀만 유지하고 나머지는 정보가 없는(-grayscale) 값으로 대체된다.
• 완전성과 타당성을 동시에 평가하기 위해 올바른 레이블과 잘못된 레이블에 대해 AUC를 기반으로 한 새로운 내재적 평가 지표를 제안한다.
• 입력 특징 값과 모델 가중치의 곱을 기반으로 샐리언시 픽셀을 선택하며, 크기 제약과 TV 제약 조건 하에서 최적화하는 샐리언시 방법을 제안한다.
• 공간적 일관성을 강제하기 위해 총 변동(Total Variation, TV) 정규화를 적용하여 잘못된 레이블 정당화로 이어지는 아티팩트를 감소시킨다.
• 선형 모델 설정에서 채르노프 경계를 사용하여 이론적으로 TV-정규화된 샐리언시 집합이 잘못된 레이블을 잘못 정당화할 가능성이 매우 낮음을 증명한다.

실험 결과

연구 질문

• RQ1 표준 내재적 평가가 완전성만 검증하고 타당성을 忽시하므로, 이를 신뢰할 수 있는가?
• RQ2 TV 정규화와 같은 일반적인 히وري스틱 기법이 샐리언시 설명의 타당성에 얼마나 기여하는가?
• RQ3 내재적 평가에서 동시에 완전성과 타당성을 만족하는 샐리언시 방법을 설계할 수 있는가?
• RQ4 TV 정규화가 샐리언시 맵에서 임의의 마스크 아티팩트를 감소시키는 데 이론적 근거가 있는가?
• RQ5 기존의 샐리언시 방법들은 새로운 완전성과 타당성 기준 하에서 제안된 방법에 비해 어떻게 성능을 내는가?

주요 결과

• 제안된 샐리언시 방법은 새로운 완전성 및 타당성 평가 지표에서 이전의 최고 성능 방법과 동일하거나 이를 초월한다.
• 실험 결과, 마스킹된 입력에서 잘못된 레이블에 대한 AUC가 TV 정규화에 의해 크게 감소함을 확인하여 타당성이 향상되었고, 완전성은 손상되지 않았다.
• 선형 모델 설정에서 크기가 L = Ω(1/γ²)인 TV-정규화된 샐리언시 집합은 높은 확률로 정확한 예측을 정당화할 수 있으나, 잘못된 예측는 정당화하지 못한다.
• 이론적 분석을 통해 유한한 가중치와 입력 조건 하에서, TV 제약 조건이 가해진 샐리언시 집합이 잘못된 레이블을 잘못 식별할 확률은 L에 대해 지수적으로 감소함을 증명했다.
• 연구 결과, 기존의 샐리언시 방법은 높은 완전성 점수를 낼 수 있지만 타당성에 실패하는 것으로 드러났다. 이는 아티팩트에 취약한 마스크를 통해 잘못된 레이블을 정당화할 수 있기 때문이다.
• 결과적으로 TV 정규화는 단순한 히وري스틱이 아니라, 특히 고차원 입력에서 타당한 샐리언시 설명을 위해 필수적인 구성 요소임을 시사한다.