[논문 리뷰] Visualizing Uncertainty and Saliency Maps of Deep Convolutional Neural Networks for Medical Imaging Applications

Jae Duk Seo|arXiv (Cornell University)|2019. 07. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 8인용 수 4

한 줄 요약

이 논문은 몬테 카를로 드롭아웃과 기울기 기반 할당 방법을 사용하여 의료 영상에서 모델의 불확실성(지식 기반 및 데이터 기반)과 색션맵을 동시에 시각화하는 통합 딥러닝 파이프라인을 제안한다. 망막 혈관 분할과 흉부 X-ray 분류에서 모델의 투명도가 향상되었으며, 불확실성과 분할 품질 간의 상관관계 및 색션맵이 진단적으로 관련된 영역을 강조함을 보여준다.

ABSTRACT

Deep learning models are now used in many different industries, while in certain domains safety is not a critical issue in the medical field it is a huge concern. Not only, we want the models to generalize well but we also want to know the models confidence respect to its decision and which features matter the most. Our team aims to develop a full pipeline in which not only displays the uncertainty of the models decision but also, the saliency map to show which sets of pixels of the input image contribute most to the predictions.

연구 동기 및 목표

• 의료 영상에서 사용되는 딥러닝 모델의 해석 가능성과 신뢰성 향상에 대한 핵심적인 필요성을 해결하기 위해.
• 진단 결정을 위한 동시에 모델 불확실성과 색션맵을 출력하는 통합 파이프라인 개발을 위해.
• 임상의가 모델이 임상적으로 관련된 영역에 집중하고 있는지 검증하고 예측의 신뢰도를 이해할 수 있도록 하기 위해.
• 표준 정확도 지표를 넘어서 투명하고 설명 가능한 AI 출력을 제공하여 임상 현장에서의 도입을 지원하기 위해.
• 병원에서 실용적이고 구현 가능한 가이드라인 기반의 프레임워크를 제공하여 불확실성 인식 딥러닝을 시스템에 통합할 수 있도록 하기 위해.

제안 방법

• 딥 네트워크에서 지식 기반(모델) 및 데이터 기반(데이터) 불확실성을 추정하기 위해 몬테 카를로 드롭아웃을 활용한다.
• 예측에 가장 영향을 미치는 입력 픽셀을 식별하기 위해 기울기 기반 색션맵 방법(예: 통합 기울기)을 적용한다.
• Staal 등이 제시한 데이터셋을 사용하여 딱지 손실 함수를 적용한 9층 U-Net을 훈련시켜 망막 혈관 분할을 수행한다.
• Wang 등이 제시한 데이터셋을 사용하여 사전 훈련된 VGG-16을 흉부 X-ray 영상 분류에 대해 톱 레이어 훈련으로 미세조정한다.
• 낮은 신뢰도일 경우에 해당하는 얇은 출력이 높은 불확실성을 나타내도록 확률적 분할 맵을 통해 불확실성을 시각화한다.
• 여러 기울기 방법에 걸쳐 일관된 색션맵을 활용하여 입력 이미지에서 주목 영역을 검증한다.

실험 결과

연구 질문

• RQ1 의료 영상 분석에서 불확실성 추정과 색션맵 시각화를 동시에 적용하여 모델의 해석 가능성을 향상시킬 수 있는가?
• RQ2 망막 혈관 분할에서 불확실성 맵은 분할 품질과 모델의 신뢰도와 상관관계가 있는가?
• RQ3 흉부 X-ray 분류에서 다양한 기울기 기반 할당 방법에 대해 색션맵이 일관되게 임상적으로 관련된 영역을 강조하는가?
• RQ4 의료진의 신뢰를 높이기 위해 투명성을 제공하는 통합 파이프라인을 설계할 수 있는가?
• RQ5 이러한 시스템을 데이터 프라이버시 제약 조건이 있는 실제 병원 환경에 구현하는 데 실현 가능성이 있는가?

주요 결과

• U-Net은 망막 혈관 분할에서 검증 손실 0.26을 기록하여 강력한 일반화 성능을 보였다.
• 몬테 카를로 드롭아웃을 통한 불확실성 추정 결과, 낮은 신뢰도일 경우에 해당하는 얇거나 끊어진 분할 맵에서 시각적으로 뚜렷한 불확실성이 확인되었다.
• 여러 기울기 방법(스무딩 변형 포함)에서 유사한 결과를 보이며 흉부 X-ray의 왼쪽 아래 영역이 분류에 있어 핵심적인 역할을 한다고 강조했다.
• 불확실성과 색션맵 시각화의 통합은 정확도만으로는 제공할 수 없는 모델 행동의 보다 종합적인 시각화를 가능하게 한다.
• 병원 기반 데이터 과학 팀이 활용할 수 있는 가이드라인 기반의 구현 전략을 통해 실용적인 배포를 지원한다.
• 향후 연구 과제로는 미세현미경 영상에서 분할과 세포 수세기 작업을 동시에 수행하는 이중 작업 학습을 통한 불확실성 출력을 포함한다.