[논문 리뷰] A Consistent and Efficient Evaluation Strategy for Attribution Methods

Yao Rong, Tobias Leemann외 3명|arXiv (Cornell University)|2022. 02. 01.

Domain Adaptation and Few-Shot Learning인용 수 31

한 줄 요약

논문은 ROAD(Remove and Debias)를 소개하는데, 재훈련 없이 평가 프레임워크로 로컬 특성 기여도 방법의 일관성을 크게 향상시키고 계산 비용을 최대 99%까지 줄인다.

ABSTRACT

With a variety of local feature attribution methods being proposed in recent years, follow-up work suggested several evaluation strategies. To assess the attribution quality across different attribution techniques, the most popular among these evaluation strategies in the image domain use pixel perturbations. However, recent advances discovered that different evaluation strategies produce conflicting rankings of attribution methods and can be prohibitively expensive to compute. In this work, we present an information-theoretic analysis of evaluation strategies based on pixel perturbations. Our findings reveal that the results are strongly affected by information leakage through the shape of the removed pixels as opposed to their actual values. Using our theoretical insights, we propose a novel evaluation framework termed Remove and Debias (ROAD) which offers two contributions: First, it mitigates the impact of the confounders, which entails higher consistency among evaluation strategies. Second, ROAD does not require the computationally expensive retraining step and saves up to 99% in computational costs compared to the state-of-the-art. We release our source code at https://github.com/tleemann/road_evaluation.

연구 동기 및 목표

• 일관되지 않은 perturbation 기반 전략에 직면하여 로컬 특징 기여도 방법의 신뢰할 수 있는 평가 필요성을 제시한다.
• 픽셀 교란 평가를 정보이론적으로 분석하고, 마스킹 과정을 통해 누출 혼동 요인을 식별한다.
• ROAD(Remove and Debias)를 제안하여 재훈련 없이 평가를 편향되지 않게 만들고 계산을 줄인다.
• 정보 누출을 최소화하고 교차 방법 일관성을 높이기 위해 Noisy Linear Imputation를 도입한다.

제안 방법

• 픽셀-교란 평가 전략에 대한 정보 이론적 분석 수행.
• 상호정보(Mutual Information) 개념을 사용하여 평가 결과를 특징 정보와 마스크 정보로 분해한다.
• 이진 마스크를 통한 클래스 정보 누출을 식별하고 완화책(Mitigator)을 형식화한다.
• 누출을 줄이기 위한 Noisy Linear Imputation을 통한 최소한의 누출 노출(Imputation)을 제시한다.
• ROAD가 ROAR에 비해 높은 일관성과 계산 절감 효과를 달성함을 보인다.

실험 결과

연구 질문

• RQ1 마스크와 픽셀 값에 의한 정보 누출로 인해 기여도 방법에 대한 교란 기반 평가 전략이 어떤 문제를 겪는가?
• RQ2 하이퍼파라미터에 대한 민감도를 줄이고 재훈련을 피하는 편향되지 않은 평가 프레임워크를 형성할 수 있는가?
• RQ3 Noisy Linear Imputation이 마스크 누출을 충분히 완화하여 MoRF와 LeRF 순서 간에 일관된 순위를 생성하는가?
• RQ4 ROAD의 ROAR에 비한 효율성 이득은 어떠하며 재훈련 없이도 순위 품질을 해치지 않는가?

주요 결과

• 마스크를 통한 정보 누출 제거가 MoRF와 LeRF 순서에서 기여도 방법 간의 일관된 순위를 촉진한다.
• Noisy Linear Imputation은 마스크 정보 누출을 상당히 줄이고 평가 결과를 최소한의 노출 원칙과 일치시킨다.
• ROAD는 높은 교차 순서 일관성을 달성한다(예: retraining으로 MoRF 대 LeRF의 Spearman 상관계수 0.61로 향상, retraining 없이 0.58).
• ROAD는 ROAR에 비해 계산 비용을 최대 99%까지 절감하여 주요 결과 변화 없이 재훈련 없이 평가가 가능하게 한다.
• CIFAR-10(및 Food-101)에서의 실험 결과가 ROAD 순위가 재훈련된 기준과 근접한 반면 계산은 몇 배 더 적음을 보인다.