[논문 리뷰] Assessing the (Un)Trustworthiness of Saliency Maps for Localizing Abnormalities in Medical Imaging

Nishanth Arun, Nathan Gaw외 11명|arXiv (Cornell University)|2020. 08. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 5인용 수 19

한 줄 요약

이 논문은 국소화 유틸리티, 가중치 랜덤화에 대한 민감도, 반복 가능성, 재현 가능성의 네 가지 기준을 사용하여 의료 영상에서 이상을 국소화하는 데 사용되는 여덟 가지 색소니티 맵 방법의 신뢰성을 평가한다. 두 개의 공공 영상의학 데이터셋을 사용하여, 모든 방법이 적어도 한 가지 기준을 충족하지 못하고, 종종 단순한 베이스라인보다 신뢰도가 낮다는 것을 발견하였으며, 임상 적용 시 주의가 필요하고, 국소화가 주요 목표일 경우 탐지 또는 분할 모델을 사용할 것을 권장한다.

ABSTRACT

Saliency maps have become a widely used method to make deep learning models more interpretable by providing post-hoc explanations of classifiers through identification of the most pertinent areas of the input medical image. They are increasingly being used in medical imaging to provide clinically plausible explanations for the decisions the neural network makes. However, the utility and robustness of these visualization maps has not yet been rigorously examined in the context of medical imaging. We posit that trustworthiness in this context requires 1) localization utility, 2) sensitivity to model weight randomization, 3) repeatability, and 4) reproducibility. Using the localization information available in two large public radiology datasets, we quantify the performance of eight commonly used saliency map approaches for the above criteria using area under the precision-recall curves (AUPRC) and structural similarity index (SSIM), comparing their performance to various baseline measures. Using our framework to quantify the trustworthiness of saliency maps, we show that all eight saliency map techniques fail at least one of the criteria and are, in most cases, less trustworthy when compared to the baselines. We suggest that their usage in the high-risk domain of medical imaging warrants additional scrutiny and recommend that detection or segmentation models be used if localization is the desired output of the network. Additionally, to promote reproducibility of our findings, we provide the code we used for all tests performed in this work at this link: https://github.com/QTIM-Lab/Assessing-Saliency-Maps.

연구 동기 및 목표

• 의료 영상에서 임상 의사결정 지원을 위한 색소니티 맵의 신뢰성과 신뢰성 여부를 평가하기 위해.
• 일반적으로 사용되는 색소니티 방법이 영상에서 이상을 신뢰성 있게 국소화하는지 확인하기 위해.
• 국소화 유틸리티, 가중치 랜덤화에 대한 민감도, 반복 가능성, 재현 가능성의 네 가지 기준에 따라 색소니티 맵을 평가하기 위해.
• 색소니티 방법이 국소화 성능 향상에 기여하는지 단순한 베이스라인 방법과 비교하기 위해.
• 국소화가 주요 목표일 경우, 색소니티 맵보다 탐지 또는 분할 모델을 사용할 것을 권장하기 위해.

제안 방법

• 연구는 국소화 참조값이 있는 두 개의 대규모 공공 영상의학 데이터셋을 사용하여 평가를 수행한다.
• Grad-CAM, Grad-CAM++, Score-CAM, 통합 기울기(IG) 등을 포함한 여덟 가지 널리 사용되는 색소니티 맵 기법을 평가한다.
• 정밀도-재현율 곡선 아래 면적(AUPRC)과 구조적 유사도 지수(SSIM)를 사용하여 참조값과의 일치도를 측정함으로써 성능을 정량화한다.
• 모델 가중치 랜덤화에 대한 민감도를 테스트하여 신뢰성 여부를 평가한다.
• 동일한 입력에 대해 여러 번의 순방향 전파를 수행한 결과의 일관성 측정을 통해 반복 가능성 여부를 평가한다.
• 모든 평가 프레임워크에서 사용된 코드를 오픈소스로 공개하여 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 색소니티 맵은 참조값과 비교하여 의료 영상에서 이상을 안정적으로 국소화하는가?
• RQ2 모델 가중치를 랜덤화했을 때 색소니티 방법의 성능은 어떻게 되며, 이는 안정성 여부를 어떻게 반영하는가?
• RQ3 동일한 입력에 대해 여러 번의 추론을 수행했을 때 색소니티 맵의 반복 가능성은 어느 정도인가?
• RQ4 색소니티 방법은 국소화 정확도 측면에서 단순한 베이스라인 방법과 비교하여 어떻게 성능을 내는가?
• RQ5 의료 영상 맥락에서 색소니티 맵은 다른 접근 방식보다 더 신뢰할 수 있는가?

주요 결과

• 여덟 가지 색소니티 맵 방법 모두 국소화 유틸리티, 가중치 랜덤화에 대한 민감도, 반복 가능성, 재현 가능성의 네 가지 기준 중 적어도 하나를 충족하지 못했다.
• 색소니티 맵은 국소화 유틸리티가 떨어졌으며, AUPRC 점수가 클래스 활성화 맵 및 무작위 노이즈와 같은 단순한 베이스라인보다 항상 낮았다.
• 색소니티 맵은 모델 가중치 랜덤화에 취약하여, 모델의 행동을 안정적으로 반영하지 못한다는 점이 확인되었다.
• 모든 방법에서 반복 가능성 수준이 낮았으며, 동일한 입력에서 여러 번 실행한 결과 간에 색소니티 맵의 변동이 심했다.
• 색소니티 맵과 참조값 간의 구조적 유사도 지수(SSIM)는 항상 낮아, 공간적 일치도가 떨어지는 것으로 나타났다.
• 저자들은 색소니티 맵이 종종 단순한 베이스라인보다 더 신뢰할 수 없으며, 국소화 작업의 경우 탐지 또는 분할 모델을 사용할 것을 권장한다.