[논문 리뷰] Respond-CAM: Analyzing Deep Models for 3D Imaging Data by Visualizations

Guannan Zhao, Bo Zhou외 3명|arXiv (Cornell University)|2018. 05. 31.

Cell Image Analysis Techniques참고 문헌 9인용 수 6

한 줄 요약

이 논문은 생물의학 영상 분석을 위한 3D 합성곱 신경망(CNN)의 해석을 위해 새로운 기울기 기반 시각화 방법인 Respond-CAM을 제안한다. 기울기 값과 활성화 값의 가중 조합을 통해 기존 Grad-CAM에 비해 더 정확하고 일관성 있는 클래스 구분형 히트맵을 생성하며, 특히 3D 세포 전자 냉동 톰그래피(CECT) 데이터에서 뚜렷한 향상된 '합-점수 성질'을 보였다. 이는 L1 오차 및 Kendall’s Tau 지표를 통해 검증되었다.

ABSTRACT

The convolutional neural network (CNN) has become a powerful tool for various biomedical image analysis tasks, but there is a lack of visual explanation for the machinery of CNNs. In this paper, we present a novel algorithm, Respond-weighted Class Activation Mapping (Respond-CAM), for making CNN-based models interpretable by visualizing input regions that are important for predictions, especially for biomedical 3D imaging data inputs. Our method uses the gradients of any target concept (e.g. the score of target class) that flows into a convolutional layer. The weighted feature maps are combined to produce a heatmap that highlights the important regions in the image for predicting the target concept. We prove a preferable sum-to-score property of the Respond-CAM and verify its significant improvement on 3D images from the current state-of-the-art approach. Our tests on Cellular Electron Cryo-Tomography 3D images show that Respond-CAM achieves superior performance on visualizing the CNNs with 3D biomedical images inputs, and is able to get reasonably good results on visualizing the CNNs with natural image inputs. The Respond-CAM is an efficient and reliable approach for visualizing the CNN machinery, and is applicable to a wide variety of CNN model families and image analysis tasks.

연구 동기 및 목표

• 3D 생물의학 영상 분석에 사용되는 3D CNN의 시각적 해석 가능성 부족 문제를 해결하기 위해.
• 모델 예측에 대한 입력 영역의 진정한 기여도를 더 잘 반영하는 시각화 방법을 개발하기 위해.
• 기울기 노이즈와 모델 출력과의 낮은 일관성으로 인해 제한되는 기존 방법(예: Grad-CAM)의 한계를 개선하기 위해.
• 실세계 3D 생물의학 데이터셋에서 방법을 검증하여, 다양한 네트워크 아키텍처에 걸쳐 신뢰성 있고 일반화된 성능을 입증하기 위해.

제안 방법

• Respond-CAM은 합성곱 레이어의 특징 맵에 대해 대상 클래스 점수에 대한 기울기를 계산한다.
• 기울기 값과 활성화 크기를 동시에 사용하여 특징 맵의 가중 조합을 도입함으로써 더 견고한 히트맵을 생성한다.
• 정보가 풍부한 영역을 강조하기 위해 채널별로 가중치를 적용하는 학습 가능하거나 적응형 메커니즘을 도입한다.
• 최종 히트맵은 가중 특징 맵의 합을 통해 생성되며, 이는 구분력 있는 입력 영역을 강조하는 공간적 주의 맵을 제공한다.
• 이 방법은 어떤 CNN 아키텍처와도 호환되며 분류, 세분화, 회귀 작업에 적용 가능하다.
• 기존 딥 러닝 파ip라인에 쉽게 통합할 수 있도록 효율적으로 설계되어 3D 영상 응용 분야에 적합하다.

실험 결과

연구 질문

• RQ1 3D 생물의학 영상에서 CNN 예측과 그 시각적 설명 간의 일관성을 어떻게 향상시킬 수 있는가?
• RQ2 기울기 정보 외에도 활성화 크기 정보를 통합하면 기울기 전용 방법에 비해 더 신뢰성 있고 해석 가능한 시각화가 가능한가?
• RQ3 Respond-CAM은 3D 영상 데이터에서 기존 최고 성능 기준인 Grad-CAM에 비해 '합-점수 성질' 측면에서 승리할 수 있는가?
• RQ4 Respond-CAM은 CECT와 같은 다양한 3D 영상 모odalities와 다양한 CNN 아키텍처에서 강건하고 효과적인가?

주요 결과

• Respond-CAM은 CNN-1에서 평균 L1 오차 0.601 ± 0.187, CNN-2에서 0.770 ± 0.366을 기록했으며, 각각 Grad-CAM의 15.344 ± 7.789 및 8.117 ± 3.854보다 유의미하게 낮아, 모델 출력과의 일관성에서 뛰어난 성능을 보였다.
• Respond-CAM은 CNN-1에서 Kendall’s Tau(KT) 0.981 ± 0.014, CNN-2에서 0.976 ± 0.018를 기록했으며, Grad-CAM의 0.273 ± 0.350 및 0.822 ± 0.097와 비교해 모델 신뢰도 순위와 강한 일치를 보였다.
• Respond-CAM을 사용한 시각화에서는 CECT 3D 영상에서 생물학적으로 관련 있는 구조가 명확히 강조되었으며, Grad-CAM 대비 국소화 정확도가 향상되고 노이즈가 감소했다.
• 이 방법은 다양한 네트워크 아키텍처(CNN-1 및 CNN-2)에서 일관된 성능을 보였으며, 신호 대 노이즈 비율이 낮은 노이즈가 많은 입력에서도 효과를 발휘했다.
• Respond-CAM은 자연 3D 영상에서도 뛰어난 성능을 유지하여 생물의학 영상 외부로의 일반화 능력을 입증했다.
• 이론적 분석을 통해 Respond-CAM이 '합-점수 성질'을 만족함을 확인했으며, 이는 히트맵의 합이 예측된 클래스 점수와 밀접하게 일치함을 보장한다.