[논문 리뷰] Assessing the validity of saliency maps for abnormality localization in medical imaging

Nishanth Arun, Nathan Gaw외 6명|arXiv (Cornell University)|2020. 05. 29.

Radiomics and Machine Learning in Medical Imaging인용 수 17

한 줄 요약

이 연구는 RSNA Pneumonia 데이터셋을 사용하여 의료 영상에서 이물질 국소화를 위한 샐런시 맵 방법의 타당성을 평가한다. GradCAM이 모델 가중치와 레이블 무작위화에 가장 민감하게 반응하여 우수한 강건성과 아키텍처 무관 성능을 보이며, 그 외 방법들인 기울기 설명 및 스무스드래프트 IG는 낮은 민감도를 보여 임상적 해석 환경에서의 잠재적 신뢰성 부족을 시사한다.

ABSTRACT

Saliency maps have become a widely used method to assess which areas of the input image are most pertinent to the prediction of a trained neural network. However, in the context of medical imaging, there is no study to our knowledge that has examined the efficacy of these techniques and quantified them using overlap with ground truth bounding boxes. In this work, we explored the credibility of the various existing saliency map methods on the RSNA Pneumonia dataset. We found that GradCAM was the most sensitive to model parameter and label randomization, and was highly agnostic to model architecture.

연구 동기 및 목표

• 정량적 지표를 사용하여 의료 영상에서 이물질 국소화를 위한 샐런시 맵 방법의 타당성을 평가한다.
• 인기 있는 샐런시 기법이 모델 파라미터 및 레이블 무작위화에 얼마나 민감한지 조사하여 신뢰성 여부를 밝힌다.
• 다른 모델 아키텍처와 학습 런에서 샐런시 맵의 반복 가능성과 재현 가능성을 평가한다.
• 지상 진술 바운딩 박스와의 겹침을 측정하여 어떤 샐런시 방법이 가장 정확하게 이상을 국소화하는지 확인한다.
• 딥 러닝 기반 의료 영상 분석에서 설명 가능성 도구의 신뢰성에 대한 실증적 증거를 제공한다.

제안 방법

• 모델 가중치와 레이블에 연쇄적 무작위화를 적용하여 샐런시 방법의 민감도를 테스트한다.
• 샐런시 맵과 지상 진술 바운딩 박스 간 겹침을 정량적으로 측정하기 위해 Dice 점수를 사용한다.
• 강건성 평가를 위해 무작위화 전후의 샐런시 맵을 비교하기 위해 스피어만 순위 상관관계를 활용한다.
• 동일한 아키텍처의 독립적으로 학습된 모델 간의 샐런시 맵을 비교하여 내부 아키텍처 반복 가능성 테스트를 수행한다.
• 다른 아키텍처(예: InceptionV3 대비 DenseNet121) 간의 샐런시 맵을 비교하여 상호 아키텍처 재현 가능성 분석을 수행한다.
• 여섯 가지 샐런시 방법을 평가: 기울기 설명, 스무스드래프트, 통합 기울기, GradCAM, XRAI, 스무스드래프트-IG.

실험 결과

연구 질문

• RQ1 RSNA Pneumonia 데이터셋에서 다양한 샐런시 맵 방법이 지상 진술 바운딩 박스와의 Dice 점수를 사용하여 이물질 국소화에 얼마나 잘 성능을 내는가?
• RQ2 샐런시 방법이 모델 가중치와 레이블 무작위화에 얼마나 민감한가? 이는 방법의 신뢰성 여부를 시사한다.
• RQ3 동일한 모델 아키텍처를 여러 번 독립적으로 학습했을 때 샐런시 맵은 얼마나 반복 가능한가?
• RQ4 다른 딥 러닝 아키텍처 간에 샐런시 맵은 얼마나 재현 가능한가?
• RQ5 어느 샐런시 방법이 강건성을 유지하면서도 모델 아키텍처에 가장 민감하지 않은가?

주요 결과

• GradCAM은 모델 가중치와 레이블 무작위화에 가장 높은 민감도를 보였으며, 무작위화 시 Dice 점수의 심각한 감소를 보여 실제 모델 학습에 더 민감하게 반응함을 시사한다.
• 기울기 설명, 스무스드래프트 IG, XRAI 는 모델 또는 레이블 무작위화 하에서도 유의미한 감소가 없었으며, 바람직하지 않은 불변성과 잠재적 신뢰성 부족을 시사한다.
• GradCAM은 다양한 모델 아키텍처 간에 가장 일관된 샐런시 맵을 생성하여 높은 아키텍처 무관성(아키텍처 간 불민감성)을 보였다.
• 스무스드래프트와 스무스드래프트-IG는 내부 및 상호 아키텍처 반복 가능성에서 가장 낮은 수준을 보였으며, 샐런시 맵 출력의 변동성이 컸다.
• 모든 방법에서 내부 아키텍처 반복 가능성은 낮았으며, 동일한 아키텍처로 독립적으로 학습된 모델 간에도 뚜렷한 차이가 있었다.
• 다른 모델에서 유도된 샐런시 맵 간의 Dice 점수 차이가 가장 작았던 것은 GradCAM이었으며, 이는 그의 뛰어난 재현 가능성과 일관성을 확인한다.