[논문 리뷰] Representativity and Consistency Measures for Deep Neural Network Explanations

Thomas Fel, David Vigouroux|arXiv (Cornell University)|2020. 09. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 36인용 수 10

한 줄 요약

이 논문은 딥 네ural 네트워크의 설명 품질을 객관적으로 평가하기 위해 알고리즘적 안정성 기반의 두 가지 새로운 측정법—평균 일반화 가능성(MeGe)과 상대적 일관성(ReCo)—을 도입한다. k-폴드 교차 훈련을 적용하여 안정성을 평가함으로써, 저자들은 표준 네트워크와 비교해도 유사한 정확도를 유지함에도 불구하고 1-립시츠 네트워크가 훨씬 더 일반화 가능하고 일관성 있는 설명을 생성함을 보여주며, 더 신뢰할 수 있는 AI 시스템으로 향하는 유망한 길을 제시한다.

ABSTRACT

A plethora of methods have been proposed to explain how deep neural networks reach their decisions but comparatively, little effort has been made to ensure that the explanations produced by these methods are objectively relevant. While several desirable properties for trustworthy explanations have been formulated, objective measures have been harder to derive. Here, we propose two new measures to evaluate explanations borrowed from the field of algorithmic stability: mean generalizability MeGe and relative consistency ReCo. We conduct extensive experiments on different network architectures, common explainability methods, and several image datasets to demonstrate the benefits of the proposed measures.In comparison to ours, popular fidelity measures are not sufficient to guarantee trustworthy explanations.Finally, we found that 1-Lipschitz networks produce explanations with higher MeGe and ReCo than common neural networks while reaching similar accuracy. This suggests that 1-Lipschitz networks are a relevant direction towards predictors that are more explainable and trustworthy.

연구 동기 및 목표

• 딥 네럴 네트워크 설명을 평가하는 객관적이고 신뢰할 수 있는 평가 지표의 부족을 해결하기 위해.
• 기존의 피델리티 기반 지표가 설명의 안정성과 신뢰성을 평가하지 못하는 한계를 규명하기 위해.
• 일반화 가능성과 일관성을 평가하는 알고리즘적 안정성 기반의 측정법인 MeGe와 ReCo를 제안하기 위해.
• 1-립시츠 정규화와 같은 아키텍처 제약 조건이 설명 품질을 향상시키는지 조사하기 위해.
• 정확도를 희생시키지 않으면서도 1-립시츠 네트워크가 더 안정적이고 신뢰할 수 있는 설명을 생성함을 입증하기 위해.

제안 방법

• 동일한 클래스에 속하는 올바르게 분류된 이미지들 사이에서 설명이 유사한 특징을 일관되게 가리키는 정도를 측정하기 위해 평균 일반화 가능성(MeGe)을 제안한다.
• 잘못 분류된 이미지의 설명이 올바르게 분류된 이미지의 설명과 유의미하게 다를지 평가하기 위해 상대적 일관성(ReCo)을 도입한다.
• 다양한 훈련 데이터 하위집합에서 다수의 예측 모델을 훈련하고 동일한 입력에 대한 설명을 비교함으로써 MeGe와 ReCo를 추정하기 위해 k-폴드 교차 훈련을 사용한다.
• CIFAR-10과 ImageNet을 포함한 다양한 아키텍처, 설명 가능성 방법(예: Grad-CAM, SmoothGrad, Grad-Input) 및 데이터셋에 걸쳐 측정법을 적용한다.
• Deel-Lip 라이브러리를 사용하여 1-립시츠 신경망을 훈련시켜 MeGe와 ReCo 점수에 미치는 영향을 평가한다.
• 설명 유사도 점수(S=와 S≠)의 히스토그램 분석을 통해 1-립시츠 모델에서 개선된 일관성과 일반화 가능성을 시각적으로 검증한다.

실험 결과

연구 질문

• RQ1 일반화 가능성과 일관성과 같은 알고리즘적 안정성 측정법이 신뢰할 수 있고 객관적인 방법으로 딥 러닝 설명의 신뢰성 여부를 평가하는 데 유용한가?
• RQ2 기존의 피델리티 기반 지표는 MeGe와 ReCo에 비해 신뢰할 수 있는 설명을 식별하는 데 얼마나 효과적인가?
• RQ3 1-립시츠 신경망은 표준 딥 네트워크보다 더 안정적이고 일반화 가능한 설명을 생성하는가?
• RQ4 유계 리프시츠 상수를 가진 아키텍처를 사용할 경우 설명 품질에 측정 가능한 향상이 있는가?
• RQ5 MeGe와 ReCo는 인간의 해석 가능성과 모델 신뢰성과 얼마나 높은 상관관계를 가지는가?

주요 결과

• 모든 설명 가능성 방법에 걸쳐 1-립시츠 네트워크는 표준 ResNet-18 모델보다 유의미하게 높은 평균 일반화 가능성(MeGe) 점수를 기록하며, Grad-CAM++의 경우 MeGe가 0.58에서 0.72로 상승한다.
• 1-립시츠 모델에서 상대적 일관성(ReCo) 점수는 뚜렷이 향상되었으며, Grad-CAM++의 경우 0.11에서 0.60으로, SmoothGrad의 경우 0.15에서 0.90으로 상승한다.
• MeGe와 ReCo의 향상은 Grad-CAM, SmoothGrad, 통합 기울기 등 여러 설명 가능성 방법에 걸쳐 일관되게 관찰되어, 아키텍처 전반적인 이점임을 시사한다.
• 히스토그램 분석 결과, 1-립시츠 모델에서는 S=과 S≠ 분포 간의 분리가 더 명확하게 나타나, 일관성과 일반화 가능성이 향상됨을 시각적으로 확인할 수 있다.
• 정확도가 유사하게 유지되며(78±4%), 1-립시츠 네트워크는 더 안정적이고 신뢰할 수 있는 설명을 생성함을 시사하며, 성능에 영향을 주지 않으면서도 아키텍처 제약 조건이 설명 가능성 향상에 기여할 수 있음을 보여준다.
• 피델리티만으로는 신뢰할 수 있는 설명을 확보할 수 없으며, 높은 피델리티를 가진 방법이라도 안정적이거나 일반화 가능하지 않은 설명을 생성할 수 있음을 시사한다.