[논문 리뷰] Towards a Unified Evaluation of Explanation Methods without Ground Truth

Hao Zhang, Jiayi Chen외 2명|arXiv (Cornell University)|2019. 11. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 48인용 수 7

한 줄 요약

이 논문은 깊이 신경망의 설명 방법에 대한 통합적이고 지식 기반(ground-truth)이 아닌 평가 프레임워크를 제안하며, 9개의 벤치마크 방법에 적용된 네 가지 지표—픽셀 수준의 편향, 설명할 수 없는 특징 성분, 공간 마스킹에 대한 탄력성, 상호 검증—을 사용한다. 주요 기여는 인간이 수동으로 작성한 또는 합성된 지식 기반 설명에 의존하지 않고도, 추론 맵의 객관성, 재현 가능성, 포괄적인 평가를 가능하게 한다.

ABSTRACT

This paper proposes a set of criteria to evaluate the objectiveness of explanation methods of neural networks, which is crucial for the development of explainable AI, but it also presents significant challenges. The core challenge is that people usually cannot obtain ground-truth explanations of the neural network. To this end, we design four metrics to evaluate explanation results without ground-truth explanations. Our metrics can be broadly applied to nine benchmark methods of interpreting neural networks, which provides new insights of explanation methods.

연구 동기 및 목표

• 지식 기반 추론이 없는 깊이 신경망의 설명 방법에 대한 객관적이고 신뢰할 수 있는 평가 부족 문제를 해결한다.
• 인간의 판단, 합성 데이터셋, 또는 모델 행동에 대한 가정에 의존하는 기존 지표의 한계를 극복한다.
• 지식 기반 설명이 필요 없이 다양한 모델, 데이터셋, 설명 방법에 적용 가능한 일반화 가능한 평가 프레임워크를 개발한다.
• 추론 맵의 객관성, 완전성, 탄력성, 일관성(공통성)에 초점을 맞춘 평가를 보장한다.
• 지식 기반 설명에 의존하지 않는 정량적이고 해석 가능하며 재현 가능한 지표를 통해 설명 방법 간 공정한 비교를 가능하게 한다.

제안 방법

• 각 픽셀이 모델 출력에 기여하는 진정한 기여도를 얼마나 정확히 반영하는지 수량화하기 위해 픽셀 수준의 편향 지표를 정의한다.
• 추론 기반 마스킹 후에도 여전히 모델 예측에 상당한 영향을 미치는 마스킹된 픽셀 비율을 측정하여 설명할 수 없는 특징 성분의 양을 수량화하는 지표를 도입한다.
• 공간 마스킹 변형에 기반한 탄력성 지표를 제안하여, 입력 수정에 따라 추론 맵이 얼마나 안정적으로 유지되는지 측정한다.
• 동일한 입력에 대해 서로 다른 설명 방법 간에 유사한 추론 패턴을 할당하는 빈도를 평가하여 일관성을 분석하는 상호 검증 지표를 설계한다.
• 여러 모델(ResNet, VGG, AlexNet)과 데이터셋(CIFAR-10, VOC2012)에서 널리 사용되는 9개의 설명 방법(LRP, Grad-CAM, LIME, DeepSHAP 등)에 이러한 지표를 적용한다.
• 수치적 평가와 시각화(예: 상호 검증 히트맵)를 통해 인간 수동 설명에 의존하지 않고 방법 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 지식 기반 설명이 없는 상황에서 추론 맵의 정확성을 객관적으로 평가할 수 있는 방법은 무엇인가?
• RQ2 다양한 설명 방법은 깊이 신경망 내에서 완전하고 중복되지 않는 특징 성분을 어느 정도 잘 포괄하는가?
• RQ3 입력에 대한 공간적 변형(예: 마스킹 또는 노이즈)에 대해 설명 방법은 어느 정도 탄력성을 보이는가?
• RQ4 동일한 입력에 대해 서로 다른 설명 방법은 얼마나 일관되게 주요 영역을 식별하는가?
• RQ5 다양한 모델, 데이터셋, 설명 기법에 적용 가능한 통합적이고 일반적인 평가 프레임워크를 도출할 수 있는가?

주요 결과

• LRP, GI, GB는 다양한 모델에서 가장 낮은 픽셀 수준의 편향을 보였으며, VGG-16/19 및 VOC2012의 ResNet에서 LRP가 가장 낮은 편향(0.256, 0.258)을 기록했다.
• LIME, GB, Pert는 가장 많은 특징 성분을 설명했으며, LIME는 슈퍼픽셀 기반 추론으로 인해 변동성이 크고, CIFAR-10에서 성능이 일관되지 않았다.
• GB와 Grad-CAM는 공간 마스킹에 대해 가장 높은 탄력성을 보였으며, GB는 VOC2012-ResNet101에서 가장 낮은 비탄력성 점수(0.248)를 기록했다.
• 상호 검증 분석 결과, LRP, GI, DeepSHAP 간에 강한 일관성이 확인되었으며, 예를 들어 VOC2012-ResNet101에서 LRP-GI의 상호 검증 점수는 0.308로 낮아 높은 일치도를 나타냈다.
• CAM과 Grad-CAM는 특징 수준의 추론이므로 픽셀 수준의 편향 지표 평가가 불가능했고, LRP는 관련성 전파 규칙가 정의되지 않아 ResNet에서는 평가되지 않았다.
• 제안된 지표들은 다양한 모델과 방법 간에 일관되고 정량적인 평가를 가능하게 했으며, 결과적으로 GB와 LRP가 지식 기반 설명 없이도 여러 차원에서 다른 방법들을 초월하는 성능을 보였다.