[논문 리뷰] Understanding Deep Neural Network Predictions for Medical Imaging Applications

Barath Narayanan Narayanan, Manawaduge Supun De Silva외 3명|arXiv (Cornell University)|2019. 12. 19.

Retinal Imaging and Analysis인용 수 14

한 줄 요약

이 논문은 의료 영상에서 깊이 신경망의 결정을 이해하는 데 도움을 주기 위해 클래스 활성화 맵핑(CAM)을 사용하는 시각화 기반 해석 가능성 프레임워크를 제안한다. 말라리아, 당뇨병성 망막병증, 뇌종양, 결핵 검출을 위한 모델에 CAM을 적용함으로써 저자들은 모델의 투명성과 임상적 신뢰성을 향상시켰으며, 성능 지표와 시각적 설명이 데이터 과학자와 의료진이 의사결정을 내리는 데 기여함을 입증하였다.

ABSTRACT

Computer-aided detection has been a research area attracting great interest in the past decade. Machine learning algorithms have been utilized extensively for this application as they provide a valuable second opinion to the doctors. Despite several machine learning models being available for medical imaging applications, not many have been implemented in the real-world due to the uninterpretable nature of the decisions made by the network. In this paper, we investigate the results provided by deep neural networks for the detection of malaria, diabetic retinopathy, brain tumor, and tuberculosis in different imaging modalities. We visualize the class activation mappings for all the applications in order to enhance the understanding of these networks. This type of visualization, along with the corresponding network performance metrics, would aid the data science experts in better understanding of their models as well as assisting doctors in their decision-making process.

연구 동기 및 목표

• 의료 영상 응용 분야에서 사용되는 깊이 신경망의 해석 가능성 부족 문제를 해결하기 위해.
• 모델 예측에 영향을 주는 영역을 시각화하여 임상적 신뢰도를 향상시키기 위해.
• 해석 가능한 AI 기법을 통해 데이터 과학자와 임상의 사이의 격차를 좁히기 위해.
• 다양한 의료 영상 작업에서 성능 평가와 함께 시각적 설명을 평가하기 위해.
• 모델 결정을 투명하게 만들어 실생활 의료 분야에 AI를 구현할 수 있도록 지원하기 위해.

제안 방법

• 의료 영상 분류를 위한 컨volution 신경망에서 주의 맵을 시각화하기 위해 클래스 활성화 맵핑(CAM)을 적용하는 것.
• 말라리아, 당뇨병성 망막병증, 뇌종양, 결핵 등의 네 가지 의료 영상 데이터셋에 대해 미리 훈련된 딥 러닝 모델을 미세조정하는 것.
• 예측된 클래스에 기여한 입력 이미지의 영역을 강조하기 위해 클래스 활성화 히트맵을 생성하는 것.
• 모델 신뢰도를 검증하기 위해 CAM 시각화 결과와 네트워크 성능 지표(예: 정확도, AUC) 간의 상관관계를 분석하는 것.
• 히스토패스로지, 망막 기저막, MRI, X-ray 등 다양한 영상 모odalities에서의 모델 행동을 평가하는 것.
• 의료진의 해석을 지원하기 위해 시각적 설명을 임상 의사결정 워크플로우에 통합하는 것.

실험 결과

연구 질문

• RQ1 클래스 활성화 맵핑은 의료 영상에서 깊이 신경망의 해석 가능성을 어떻게 향상시킬 수 있는가?
• RQ2 말라리아나 당뇨병성 망막병증과 같은 질환을 진단할 때 딥 러닝 모델이 어떤 영역에 주목하는가?
• RQ3 CAM 시각화 결과는 임상적으로 관련 있는 해부학적 특징과 어느 정도 일치하는가?
• RQ4 시각적 설명은 의료 전문가들 사이에서 AI 모델의 신뢰도와 사용성 향상에 기여하는가?
• RQ5 모델 성능은 CAM 히트맵의 품질과 국소화 정도와 어떻게 상관관계가 있는가?

주요 결과

• 클래스 활성화 맵핑은 말라리아에서 기생충에 감염된 적혈구나 당뇨병성 망막병증에서의 미세aneurysms와 같은 병리학적으로 관련 있는 영역을 성공적으로 강조하였다.
• 다양한 영상 모달리티에서 병변 표지자에 대한 일관된 주의를 보이며 모델의 투명성을 높였다.
• 모델은 높은 성능을 기록하였으며, 여러 데이터셋에서 AUC 값이 0.90을 초과하여 강력한 예측 능력을 보였다.
• 임상적으로 관련 있는 특징들이 CAM에 의해 일관되게 국소화되어 모델 결정의 신뢰성을 뒷받침하였다.
• 성능 지표와 시각적 설명의 조합이 데이터 과학자들이 모델 디버깅과 검증을 더 잘 수행할 수 있도록 도왔다.
• 의료진과 개발자 모두가 AI 결정을 이해할 수 있도록 하여 실생활 적용을 지원하는 데 기여하였다.