[논문 리뷰] Quantifying Explainability of Saliency Methods in Deep Neural Networks

Erico Tjoa, Cuntai Guan|arXiv (Cornell University)|2020. 09. 07.

Explainable Artificial Intelligence (XAI)참고 문헌 41인용 수 9

한 줄 요약

이 논문은 딥 네ural 네트워크 내의 색소니티 메서드에 대한 정량적 평가를 가능하게 하기 위해 지표 열매맵이 있는 합성 데이터셋을 소개한다. 구분 가능한 특징을 가진 세포의 이미지를 생성함으로써, 저자들은 사후 설명 방법의 투명한 벤치마킹을 가능하게 하였으며, 방법론적 한계를 드러내고 XAI 분야의 향후 연구 방향과 개선된 평가 기준에 대한 권고를 제시한다.

ABSTRACT

One way to achieve eXplainable artificial intelligence (XAI) is through the use of post-hoc analysis methods. In particular, methods that generate heatmaps have been used to explain black-box models, such as deep neural network. In some cases, heatmaps are appealing due to the intuitive and visual ways to understand them. However, quantitative analysis that demonstrates the actual potential of heatmaps have been lacking, and comparison between different methods are not standardized as well. In this paper, we introduce a synthetic data that can be generated adhoc along with the ground-truth heatmaps for better quantitative assessment. Each sample data is an image of a cell with easily distinguishable features, facilitating a more transparent assessment of different XAI methods. Comparison and recommendations are made, shortcomings are clarified along with suggestions for future research directions to handle the finer details of select post-hoc analysis methods.

연구 동기 및 목표

• 딥 네럴 네트워크 내 색소니티 메서드에 대한 표준화되고 정량적인 평가의 부족을 해결하기 위해.
• 쉽게 식별 가능한 특징과 해당 지표 열매맵을 갖춘 합성 데이터 생성 프레임워크를 개발하기 위해.
• 통제된, 투명한 벤치마크를 통해 사후 설명 방법의 투명하고 재현 가능한 비교를 가능하게 하기 위해.
• 제안된 데이터셋에서 체계적인 평가를 통해 기존 색소니티 메서드의 한계를 규명하기 위해.
• 방법론적 한계를 드러내고 XAI 평가 관행의 향상 방안을 제안함으로써 향후 연구를 이끌기 위해.

제안 방법

• 색소니티 메서드의 테스트 케이스로 사용할 수 있도록 명확히 구분 가능한 구조적 특징을 가진 세포 유사 이미지로 구성된 합성 데이터셋을 설계하기 위해.
• 식별 가능한 특징에 기반하여 각 합성 이미지에 대한 지표 열매맵을 생성하여 모델이 생성한 색소니티 맵와 직접 비교할 수 있도록 하기 위해.
• 동일한 합성 이미지에 다양한 사후 색소니티 메서드(예: Grad-CAM, GradCAM++, LRP)를 적용하여 설명 열매맵을 생성하기 위해.
• IoU(교차점의 면적 비율) 및 상관 기반 측정치와 같은 지표를 사용하여 모델이 생성한 열매맵과 지표 열매맵 간의 유사도를 정량적으로 평가하기 위해.
• 다양한 특징 복잡도와 공간 구성에서 메서드 성능을 체계적으로 평가하기 위해 합성 데이터를 활용하기 위해.
• 재현 가능하고 투명하며 정량적인 색소니티 메서드 평가를 지원하는 벤치마크 프레임워크를 수립하기 위해.

실험 결과

연구 질문

• RQ1 지표 열매맵이 알려진 합성 이미지에서 기존 색소니티 메서드는 진짜 관련 특징을 얼마나 잘 국소화하는가?
• RQ2 통제된, 투명한 데이터에서 인기 있는 색소니티 메서드 간의 정량적 성능 차이는 무엇인가?
• RQ3 다양한 합성 데이터 구성에서 일관되게 드러나는 방법론적 한계는 무엇인가?
• RQ4 특징의 복잡도와 공간 배열의 변화가 색소니티 설명의 신뢰성에 어떻게 영향을 미치는가?
• RQ5 색소니티 메서드의 진정한 해석 능력을 더 잘 반영하기 위해 평가 프로토콜에 어떤 개선이 필요한가?

주요 결과

• 일부 메서드는 단순한 합성 이미지에서도 관련 특징을 정확히 식별하지 못함을 보여주며, 색소니티 메서드의 국소화 정확도에 큰 변동성이 있음.
• 모든 구성에서 유일한 메서드가 항상 다른 메서드를 앞서는 것은 아니며, 이는 메서드 선택이 데이터 구조에 매우 의존함을 시사함.
• IoU 및 상관 기반 지표와 같은 일반적인 지표는 설명의 질을 완전히 포괄하지 못함을 보여주며, 더 세밀한 평가 기준이 필요함을 시사함.
• 많은 메서드가 겹치거나 모호한 특징이 있는 영역에서 잘못된 또는 일관되지 않은 열매맵을 생성함.
• 합성 데이터셋은 방법론적 결함을 효과적으로 드러내며, 높은 성능와 낮은 성능의 색소니티 기법 간의 명확한 차이를 가능하게 함.
• 현재 평가 관행은 표준화와 투명성이 부족하며, 지표 설명이 있는 벤치마크 데이터셋의 도입이 필요함을 드러냄.