[논문 리뷰] What Do You See? Evaluation of Explainable Artificial Intelligence (XAI) Interpretability through Neural Backdoors

Yi‐Shan Lin, Wen‐Chuan Lee외 1명|arXiv (Cornell University)|2020. 09. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 42인용 수 27

한 줄 요약

이 논문은 신경망 백도어를 기준 진술로 사용하여 설명 가능한 인공지능(XAI)의 해석 가능성에 대한 새로운 자동 평가 프레임워크를 제안한다. 트로이안 모델에 트리거를 삽입함으로써, 저자들은 오직 모델 무관 XAI 방법들인 LIME과 GGCAM만이 전체 트리거 영역을 신뢰성 있게 탐지할 수 있음을 입증하며, 지역 해석 방법들은 실패함으로써 XAI의 강건성과 신뢰성에 대한 핵심적 한계를 드러낸다. 이는 모델 디버깅에 있어 중요한 문제를 제기한다.

ABSTRACT

EXplainable AI (XAI) methods have been proposed to interpret how a deep neural network predicts inputs through model saliency explanations that highlight the parts of the inputs deemed important to arrive a decision at a specific target. However, it remains challenging to quantify correctness of their interpretability as current evaluation approaches either require subjective input from humans or incur high computation cost with automated evaluation. In this paper, we propose backdoor trigger patterns--hidden malicious functionalities that cause misclassification--to automate the evaluation of saliency explanations. Our key observation is that triggers provide ground truth for inputs to evaluate whether the regions identified by an XAI method are truly relevant to its output. Since backdoor triggers are the most important features that cause deliberate misclassification, a robust XAI method should reveal their presence at inference time. We introduce three complementary metrics for systematic evaluation of explanations that an XAI method generates and evaluate seven state-of-the-art model-free and model-specific posthoc methods through 36 models trojaned with specifically crafted triggers using color, shape, texture, location, and size. We discovered six methods that use local explanation and feature relevance fail to completely highlight trigger regions, and only a model-free approach can uncover the entire trigger region.

연구 동기 및 목표

• 주관적인 인간 평가나 고계산 비용을 수반하는 방법에 의존함으로써 발생하는 XAI의 해석 가능성에 대한 객관적이고 자동화된 평가의 부족을 해결하기 위해.
• 특히 의도적인 잘못된 분류를 유도하는 백도어 트리거를 탐지하지 못하는 기존 XAI 방법의 한계를 규명하기 위해.
• 다양한 트리거를 갖춘 트로이안 모델을 기준 진술로 사용하여 시맨틱 해석 정확도를 평가하는 체계적이고 자동화된 평가 프레임워크를 개발하기 위해.
• 트리거가 눈에 띄지 않게 설계되었지만 영향을 미치는 악성 환경에서 XAI 방법의 강건성과 신뢰성 평가하기 위해.
• 현재 XAI 방법, 특히 지역 해석 기반 및 특성 중요도 기반 방법들이 전체 트리거 영역을 강조하지 못함으로써 모델 디버깅에 대한 신뢰를 훼손한다는 것을 입증하기 위해.

제안 방법

• 색상, 형태, 질감, 크기, 위치의 변형을 사용하여 36개의 딥러닝 모델에 신경망 백도어(트리거)를 삽입하여 통제 가능한 테스트 케이스를 생성한다.
• 트리거의 존재를 기준 진술로 삼아 XAI 방법이 모델 예측에 가장 관련성이 높은 입력 영역을 정확히 식별하는지 평가한다.
• 정확도와 완전성 측정을 위해 세 가지 정량적 지표인 교차율(Intersection over Union, IOU), 중요도 비율(Relevance Ratio, RR), 중요도 거리(Relevance Distance, RD)를 도입한다.
• 모든 트로이안 모델에 대해 최신 7종의 XAI 방법—BP, GBP, GCAM, GGCAM, OCC, FA, LIME—을 적용하여 성능을 비교한다.
• 경계 검출(Canny 알고리즘)을 사용하여 주목할 만한 영역을 국소화하고, 탐지된 트리거 영역 주변에 경계 상자(box)를 그려 평가한다.
• 다양한 XAI 방법과 모델 아키텍처에서 시맨틱 맵 생성에 소요되는 시간을 측정하여 계산 효율성도 평가한다.

실험 결과

연구 질문

• RQ1 XAI 방법들은 입력 이미지에 삽입된 백도어 트리거를 기준 진술로 사용하여 해석 가능성 평가에 신뢰성 있게 탐지할 수 있는가?
• RQ2 지역 해석 기반 XAI 방법들은 모델 무관 접근법에 비해 전체 트리거 영역을 식별하지 못하는가?
• RQ3 트리거 특성의 변형(크기, 색상, 위치, 질감)이 다양한 XAI 방법의 성능에 어떤 영향을 미치는가?
• RQ4 트리거 탐지에서 전방 기반과 후방 기반 XAI 방법 간의 계산 비용 차이는 어떠한가?
• RQ5 트리거가 부분적으로 가림되거나 변형된 경우 XAI 방법은 어느 정도 강건성을 유지하는가?

주요 결과

• 7개의 XAI 방법 중 6개—특히 지역 해석 및 특성 중요도에 의존하는 방법들—즉시 눈에 띄는 트리거일지라도 전체 트리거 영역을 완전히 강조하지 못한다.
• 오직 모델 무관 방법인 LIME과 하이브리드 형태의 GGCAM만이 대부분의 경우 전체 트리거 영역을 성공적으로 탐지했으며, LIME는 가장 높은 중요도 비율(RR) 점수를 기록했다.
• Occlusion(OCC)와 Feature Ablation(FA)는 고정된 위치에 트리거가 있는 경우에 더 나은 성능을 보였지만, 무작위로 배치된 트리거에서는 실패했다. 이는 사전 정의된 공간 그룹에 의존하기 때문이다.
• 전방 기반 XAI 방법(OCC, FA, LIME)은 후방 기반 방법(BP, GBP, GCAM, GGCAM)보다 상당히 높은 계산 비용을 유발했으며, FA는 VGG16에서 시맨틱 맵 생성에 75초 이상 소요되어 가장 비용이 많이 들었다.
• GGCAM 방법은 GBP와 GCAM의 성능을 합친 것과 유사한 성능을 달성하여, 다양한 기법의 시맨틱 맵 융합이 효과적임을 보여주었다.
• 트리거 픽셀을 원본 이미지 내용으로 대체한 후에도 잘못된 분류가 지속됨을 확인하여, 백도어 방어를 위한 XAI 기반 입력 정제 기법이 완전한 트리거 탐지 부족으로 인해 여전히 도전 과제임을 시사한다.