[논문 리뷰] HiResCAM: Faithful Location Representation in Visual Attention for Explainable 3D Medical Image Classification

Rachel Lea Draelos, Lawrence Carin|arXiv (Cornell University)|2020. 11. 17.

Radiomics and Machine Learning in Medical Imaging인용 수 36

한 줄 요약

HiResCAM은 3D CNN이 의료 영상에서 다중라벨 분류에 사용하는 특징을 충실도 있게 국소화하는 데 성공하는 새로운 레이블 전용 주의 메커니즘으로, Grad-CAM의 기울기 평균화 결함을 극복한다. RAD-ChestCT에서 약 37% 향상된 약한 감독 기반 장기 국소화 성능을 기록하며, 새로운 최고 성능을 수립한다.

ABSTRACT

Understanding model predictions is critical in healthcare, to facilitate rapid verification of model correctness and to guard against the use of models that exploit confounding variables. Here we address the challenging new task of explainable multilabel classification of volumetric medical images. We first illustrate a previously unrecognized limitation of the popular model explanation method Grad-CAM: as a side effect of the gradient averaging step, Grad-CAM sometimes highlights the wrong location. To solve this problem, we propose HiResCAM, a novel label-specific attention mechanism that is provably guaranteed to highlight only the locations the model used to make each prediction. Next, we introduce a mask loss that leverages HiResCAM to encourage the model to predict abnormalities based only on the organs in which those abnormalities appear. Our innovations produce a 37% improvement in weakly supervised organ localization of multiple abnormalities in the RAD-ChestCT data set of 36,316 CT volumes, resulting in state-of-the-art performance. We also demonstrate on PASCAL VOC 2012 the different properties of HiResCAM and Grad-CAM on natural images. Overall, this work advances convolutional neural network explanation approaches and the clinical applicability of multiple abnormality modeling in volumetric medical images.

연구 동기 및 목표

• 기울기 평균화로 인해 3D 의료 영상에서 관련 특징을 국소화하는 데에 신뢰할 수 없는 Grad-CAM의 문제를 해결하기 위해.
• 각 레이블에 대해 진정한 결정 관련 영역만 반영하는 주의 맵을 보장하는 방법을 개발하기 위해.
• 부피형 CT 스캔에서 다중 이상 징후의 약한 감독 기반 국소화를 향상시키기 위해.
• 설명이 충실하고 해석 가능하도록 보장하여 딥 러닝 모델에 대한 임상적 신뢰를 높이기 위해.
• 3D 의료 영상에서 설명 가능한 다중라벨 분류의 새로운 기준을 설정하기 위해.

제안 방법

• 각 클래스별 기울기를 계산하고, 클래스 간 평균화 없이 직접 특징 맵에 적용하는 레이블 전용 주의 메커니즘인 HiResCAM을 제안한다.
• 예측된 이상 징후가 포함된 장기 영역에만 주의를 기울이도록 유도하는 마스크 손실을 도입하여 국소화의 충실도를 향상시킨다.
• 마스크 손실을 통해 각 레이블에 대해 관련 해부학적 영역에 주의를 기울이도록 모델을 종합적으로 훈련시킨다.
• 공간 해상도를 유지하고 평균화로 인한 선명한 특징 억압을 방지하는 기울기 기반 시각화 방법을 사용한다.
• 3D 부피 영상 CT 데이터에 이 방법을 적용하고, 의료 및 자연 영상 벤치마크에서 평가한다.
• Grad-CAM과의 비교를 위해 RAD-ChestCT 및 PASCAL VOC 2012에서 방법을 검증하여 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 3D 의료 영상에서 기울기 평균화로 인해 Grad-CAM이 오해의 소지가 있는 주의 맵을 생성하는가?
• RQ2 레이블 전용 주의 메커니즘은 다중라벨 3D 분류에서 결정 관련 영역을 충실도 있게 국소화할 수 있는가?
• RQ3 장기별 영역에 주의를 제한하는 마스크 손실을 도입함으로써 약한 감독 기반 국소화 성능이 향상되는가?
• RQ4 자연 영상 및 의료 영상에서 HiResCAM은 국소화 정확도와 충실도 측면에서 Grad-CAM보다 우월한가?
• RQ5 제안된 방법은 다중 이상 징후의 약한 감독 기반 장기 국소화에서 최고 성능을 달성할 수 있는가?

주요 결과

• HiResCAM은 Grad-CAM의 기울기 평균화로 인한 오해의 소지가 있는 국소화 아티팩트를 성공적으로 제거한다.
• 36,316개의 CT 볼륨을 포함하는 RAD-ChestCT 데이터셋에서 약한 감독 기반 장기 국소화 성능이 37% 상대적 향상되었다.
• 특히 복잡한 3D 의료 영상에서 HiResCAM은 Grad-CAM보다 더 충실도 있고 국소화가 정밀한 주의 맵을 생성한다.
• 마스크 손실은 모델이 예측된 이상 징후가 포함된 장기 영역에만 주의를 기울이도록 효과적으로 유도하여 국소화의 충실도를 향상시킨다.
• PASCAL VOC 2012에서 HiResCAM은 Grad-CAM과 비교해 더 명확하고 정확한 국소화 행동을 보이며, 기능 기여도 측면에서의 열등성을 확인한다.
• 이 방법은 부피형 의료 영상의 설명 가능한 다중라벨 분류 분야에서 새로운 최고 성능을 수립한다.