[논문 리뷰] Can I Trust the Explainer? Verifying Post-hoc Explanatory Methods

Oana-Maria Camburu, Eleonora Giunchiglia외 3명|arXiv (Cornell University)|2019. 10. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 36

한 줄 요약

본 논문은 feature-additive와 feature-selection 설명의 차이를 구분하고, non-trivial 신경 모델을 사용해 feature-selection 관점의 자동 검증 프레임워크를 도입하여 인기 있는 설명자들의 실패 모드를 입증하고 오픈 평가 테스트를 제공한다.

ABSTRACT

For AI systems to garner widespread public acceptance, we must develop methods capable of explaining the decisions of black-box models such as neural networks. In this work, we identify two issues of current explanatory methods. First, we show that two prevalent perspectives on explanations --- feature-additivity and feature-selection --- lead to fundamentally different instance-wise explanations. In the literature, explainers from different perspectives are currently being directly compared, despite their distinct explanation goals. The second issue is that current post-hoc explainers are either validated under simplistic scenarios (on simple models such as linear regression, or on models trained on syntactic datasets), or, when applied to real-world neural networks, explainers are commonly validated under the assumption that the learned models behave reasonably. However, neural networks often rely on unreasonable correlations, even when producing correct decisions. We introduce a verification framework for explanatory methods under the feature-selection perspective. Our framework is based on a non-trivial neural network architecture trained on a real-world task, and for which we are able to provide guarantees on its inner workings. We validate the efficacy of our evaluation by showing the failure modes of current explainers. We aim for this framework to provide a publicly available, off-the-shelf evaluation when the feature-selection perspective on explanations is needed.

연구 동기 및 목표

• instance-wise 설명에서 feature-additive와 feature-selection 설명 관점의 근본적 차이 하이라이트
• 타깃 모델의 동작에 대한 보장을 가진 비-trivial 신경 모델에서 feature-selection 설명자를 평가하기 위한 자동 검증 프레임워크 제안
• 실세계 작업에서의 인기 있는 설명자(LIME, SHAP, L2X)의 실패 모드를 보여주고 오픈 소스 평가 테스트를 제공

제안 방법

• 실제 beer-review 작업(BeerAdvocate)에서 학습된 RCNN 기반 모델을 활용해 제로 기여와 명확하게 관련된 토큰을 식별able한 데이터세트를 생성
• 데이터에서 핸드쉐이크를 제거하고 각 인스턴스당 최소 하나의 명확하게 관련된 토큰을 확보하도록 가지치기를 수행하여 파티션 S_x = SR_x ∪ SDK_x 및 N_x를 제로-기여 토큰으로 정의
• 제로-기여 토큰을 명확하게 관련 토큰보다 순위 매기는 것을 페널티하는 평가 지표 정의: %_first, %_misrnk, avg_misrnk
• 세 가지 설명자(LIME, SHAP - feature-additive; L2X - feature-selection)를 이 지표들로 세 가지 측면(appearance, aroma, palate)에서 평가
• LIME/SHAP가 L2X보다 더 잘 수행하는 이유에 대한 분석과 프레임워크의 한계점(보편적 그라운드 트루스 테스트가 아님) 논의
• 평가 테스트를 즉시 사용할 수 있도록 공개하고 다른 컴퓨터 비전과 같은 작업에의 일반성 논의

실험 결과

연구 질문

• RQ1 인스턴스별 설명에서 feature-additivity와 feature-selection 설명의 차이는 무엇이며 평가 동작에 어떤 영향을 미치는가
• RQ2 비-trivial 신경망을 사용하여 대상 모델의 동작에 대한 보장을 갖고 feature-selection 설명자의 충실성을 자동으로 검증할 수 있는가
• RQ3 실세계 작업에서 엄격한 feature-selection 프레임워크 평가 시 LIME, SHAP, L2X의 인기 있는 설명자들의 실패 모드는 무엇인가

주요 결과

• LIME와 SHAP가 제로-기여 토큰을 명확하게 관련 토큰보다 자주 높은 순위에 두는 경향이 있어 feature-selection 관점에서의 실패 모드를 나타낸다
• L2X는 K(사전 지정된 특징 수)가 작업에 맞지 않을 때 여러 제로-기여 토큰을 명확하게 관련 토큰보다 종종 높은 순위에 두며 성능이 저하된다(사람이 주석한 평균으로 K가 설정되면 감소)
• 전반적으로 LIME와 SHAP가 측정 지표의 대부분에서 낮은 오차율을 보였고, L2X는 몇 가지 설정에서 더 높은 오순위를 보였다
• 평가 프레임워크는 그라운드 트루스 모델 합리화를 가정하지 않고도 중요한 실패를 자동으로 드러낼 수 있으며 다른 도메인에 적용 가능