[논문 리뷰] Explaining Deep Neural Networks Using Spectrum-Based Fault Localization

Youcheng Sun, Hana Chockler외 2명|arXiv (Cornell University)|2019. 08. 06.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 4

한 줄 요약

이 논문은 소프트웨어 공학에서 사용하는 스펙트럼 기반 결함 로컬라이제이션(SFL)을 활용해 딥 네ural 네트워크(DNN)의 결정을 설명하는 새로운 방법인 DeepCover를 제안한다. 이는 최소한의 관련 입력 특징을 식별함으로써 DNN의 결정을 설명한다. 기존 최고 수준의 방법들인 GradCAM, LIME, SHAP, RISE, Extremal을 능가하며, 정답이 있는 벤치마크에서 76.7%의 정확도를 기록했으며, 이는 다음으로 높은 성능을 보인 방법보다 6% 높은 수준이다.

ABSTRACT

The black-box nature of deep neural networks (DNNs) makes it impossible to understand why a particular output is produced, creating demand for Explainable AI. In this paper, we show that statistical fault localization (SFL) techniques from software engineering deliver high quality explanations of the outputs of DNNs, where we define an explanation as a minimal subset of features sufficient for making the same decision as for the original input. We present an algorithm and a tool called DeepCover, which synthesizes a ranking of the features of the inputs using SFL and constructs explanations for the decisions of the DNN based on this ranking. We compare explanations produced by DeepCover with those of the state-of-the-art tools GradCAM, LIME, SHAP, RISE and Extremal and show that explanations generated by DeepCover are consistently better across a broad set of experiments. On a benchmark set with known ground truth, DeepCover achieves 76.7% accuracy, which is 6% better than the second best Extremal.

연구 동기 및 목표

• 딥 네ural 네트워크(DNN)의 해석 가능성 부족으로 인해 실세계 AI 응용 프로그램에서 신뢰도와 디버깅이 어려운 문제를 해결하기 위해.
• DNN의 예측에 충분한 최소한의 입력 특징 집합을 식별함으로써 최소이면서 고품질의 설명을 생성하는 방법을 개발하기 위해.
• 소프트웨어 공학에서 유래한 통계적 결함 로컬라이제이션 기법을 활용하여 기존 설명 도구를 향상시키기 위해.
• 정답이 알려진 벤치마크에서 평가하고, 최신 기술 수준의 설명 도구들과 철저히 비교하기 위해.

제안 방법

• DeepCover는 잘못 분류된 샘플을 '결함'으로 간주하고 특징을 잠재적 원인으로 간주함으로써 DNN 입력에 스펙트럼 기반 결함 로컬라이제이션(SFL)을 적용한다.
• 각 행이 특징을, 각 열이 테스트 입력을 나타내는 스펙트럼 행렬을 구성하며, 값은 입력 간 특징 활성화 패턴을 나타낸다.
• SFL 알고리즘은 잘못된 예측와 함께 자주 공존하는 특징의 빈도에 기반해 각 특징에 대해 의심스러움 점수를 계산하여 오류 기여도에 따라 특징을 순위 매긴다.
• 상위 순위의 특징들이 설명으로 선택되어, DNN의 출력 결정을 재현하는 데 충분한 최소한의 특징 집합을 형성한다.
• 의심스러움 점수가 높은 특징들을 선택하여 설명을 합성함으로써 최소화되고 관련성이 높은 특징 집합을 보장한다.
• 모델 재학습이 필요 없이 DNN 추론 파이프라인과 통합되어 어떤 입력에 대해서도 자동으로 설명을 생성할 수 있다.

실험 결과

연구 질문

• RQ1 스펙트럼 기반 결함 로컬라이제이션(SFL)이 딥 네ural 네트워크가 내리는 결정을 설명하는 데 효과적으로 적용될 수 있는가?
• RQ2 SFL 기반 방법이 GradCAM, LIME, SHAP, RISE, Extremal과 같은 최신 기술 수준의 설명 도구들과 비교해 설명의 품질이 어떻게 다른가?
• RQ3 정답이 알려진 벤치마크에서 SFL 기반 접근법이 기존 방법보다 더 정확하고 최소한의 설명을 생성하는가?
• RQ4 SFL 기반 설명은 다양한 데이터셋과 네트워크 아키텍처에서 일관되게 다른 방법들을 능가하는가?

주요 결과

• DeepCover는 정답이 있는 벤치마크에서 DNN 예측에 대한 정확한 입력 특징을 76.7%의 정확도로 식별했으며, 다음으로 높은 성능을 보인 Extremal(70.7%)보다 유의미하게 높았다.
• 모든 평가된 데이터셋과 모델에서 GradCAM, LIME, SHAP, RISE보다 SFL 기반 접근법이 더 일관되고 고품질의 설명을 생성했다.
• DeepCover가 생성한 설명은 항상 최소화되어 있었으며, 모델의 결정을 재현하는 데 필요한 최소한의 특징 집합에 집중했다.
• 이 방법은 아키텍처 수정이나 재학습 없이도 다양한 네트워크 아키텍처와 데이터셋에서 뛰어난 성능을 유지하며 뚜렷한 강건성을 보였다.
• SFL의 사용으로 인해 소음과 기울기 기반 또는 편향 기반 방법에서 흔히 발생하는 불필요한 기여 요소들을 줄여 정확한 주요 특징을 식별할 수 있었다.
• 결과는 소프트웨어 공학에서 유래한 SFL 기법이 DNN 행동을 설명하는 데 매우 효과적이며, 설명 가능한 AI를 위한 새로운 신뢰할 수 있는 패러다임을 제공한다는 것을 확인했다.