[논문 리뷰] Evaluations and Methods for Explanation through Robustness Analysis

Cheng-Yu Hsieh, Chih‐Kuan Yeh외 5명|arXiv (Cornell University)|2020. 05. 31.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 15

한 줄 요약

이 논문은 특성 제거나 샘플링 대신 소규모 적대적 편향을 사용하여 특성 기반 설명에 대한 평가 프레임워크를 제안한다. 이는 설명 품질 평가의 편향을 감소시킨다. 이러한 편향에 대한 내성적 특성 최적화를 통해 방법은 관련 긍정 및 부정 특성을 모두 식별하며, 이미지 및 텍스트 데이터셋에서 사용자 연구 및 정량적 기준에서 뛰어난 성능을 달성한다.

ABSTRACT

Feature based explanations, that provide importance of each feature towards the model prediction, is arguably one of the most intuitive ways to explain a model. In this paper, we establish a novel set of evaluation criteria for such feature based explanations by robustness analysis. In contrast to existing evaluations which require us to specify some way to "remove" features that could inevitably introduces biases and artifacts, we make use of the subtler notion of smaller adversarial perturbations. By optimizing towards our proposed evaluation criteria, we obtain new explanations that are loosely necessary and sufficient for a prediction. We further extend the explanation to extract the set of features that would move the current prediction to a target class by adopting targeted adversarial attack for the robustness analysis. Through experiments across multiple domains and a user study, we validate the usefulness of our evaluation criteria and our derived explanations.

연구 동기 및 목표

• 특성 제거나 샘플링에 의존하는 기존 특성 기반 설명 평가 방법의 내재된 편향을 해결하기 위해.
• 소규모 적대적 편향을 사용하여 내성성 기반 평가 기준을 개발하여 특성 중요도 평가를 더 객관적으로 하기 위해.
• 이 새로운 내성성 기준을 최적화하는 설명 방법을 설계하여 관련 긍정 및 부정 특성을 모두 식별하기 위해.
• 정량적 지표와 사용자 연구를 통해 제안된 평가 및 설명 방법의 효과성을 검증하기 위해.
• 이미지 및 텍스트 분류 작업에서 주목할 만한 특성을 식별하는 데서 이 방법의 우수성을 입증하기 위해.

제안 방법

• 관련 특성이 적대적으로 편향될 때 예측이 얼마나 변화하는지 측정하는 방식으로, 적대적 내성성에 기반한 새로운 평가 기준을 도입한다.
• 중요성은 주목할 만한 특성에 대한 적대적 편향을 통해 정의한다 (예측 변화가 크도록), 그리고 충분성은 비주목 특성에 대한 편향을 통해 정의한다 (변화가 없어야 함).
• 정확한 계산이 NP-완전 문제이므로, 적대적 공격(예: PGD)을 사용하여 내성성 평가의 날카운 상한선을 제공한다.
• 반복적으로 특성을 선택하여 내성성 점수를 최대화하는 게임 이론적 설명 알고리즘인 Greedy-AS를 개발한다.
• 목표 적대적 공격을 사용하여 예측을 원하는 클래스로 이동시키는 데 기여하는 특성을 식별함으로써, 목표 지향적 설명으로 방법을 확장한다.
• MNIST, ImageNet(이미지) 및 Yahoo!Answers(텍스트) 데이터셋에 이 방법을 적용하여 Grad, IG, SHAP, LOO, EG, Anchor, CFX와 비교한다.

실험 결과

연구 질문

• RQ1 특성 제거나 샘플링보다 적대적 내성성이 특성 기반 설명에 대해 더 신뢰할 수 있고 편향이 적은 평가 기준으로 사용될 수 있는가?
• RQ2 적대적 내성성에 최적화된 설명이 관련 긍정 및 부정 특성을 효과적으로 식별할 수 있는가?
• RQ3 제안된 방법은 사용자 인식된 관련성과 정량적 지표 측면에서 기존 설명 방법보다 어떻게 비교되는가?
• RQ4 내성성 기반 평가가 더 정확하고 해석 가능한 설명 생성을 이끌 수 있는가?
• RQ5 이 방법은 이미지 및 텍스트와 같은 다양한 데이터 모odal에서 일반화되는가?

주요 결과

• 사용자 연구에서 Greedy-AS는 사용자 레이블 기반 지표인 정밀도@5(0.68)와 mAP(0.76)에서 가장 높은 성능을 기록했으며, Grad, IG, SHAP, LOO, EG, Anchor, CFX를 모두 앞섰다.
• Yahoo!Answers 데이터셋에서 제안된 내성성 평가 지표(Robustness- $\bar{S}_r$)는 AUC가 2.13로, CFX 및 EG를 포함한 모든 기준보다 뛰어났다.
• MNIST에서 Greedy-AS는 상위 20% 특성 선택에 대해 13.621초의 런타임을 기록했으며, SHAP(9.673s)와 CFX(8.582s)보다 빠르지 않았지만, Grad(0.005s)보다는 느렸다.
• 이 방법은 그림 1에서 보듯이 관련 긍정 특성(파란 영역)과 부정 특성(초록/노란색 영역)을 모두 성공적으로 식별했다. 이 편향은 숫자 예측을 변화시켰다.
• 삭제 및 삽입 평가에서 Robustness-$S_r$ 값이 낮을수록 더 나은 설명을 의미하며, Greedy-AS는 가장 낮은 값(7.64)을 기록하여 강력한 충분성을 보였다.
• 사용자 연구 결과, Anchor와 IG가 상위 1개 키워드를 가장 인간 직관에 가깝게 선택했지만, Greedy-AS는 k=1에서 k=5까지의 전체 정밀도에서 가장 높은 성능을 기록했다.