[논문 리뷰] MDNet: A Semantically and Visually Interpretable Medical Image Diagnosis Network

Zizhao Zhang, Yuanpu Xie외 3명|arXiv (Cornell University)|2017. 07. 08.

AI in cancer detection인용 수 62

한 줄 요약

MDNet은 의료 이미지를 읽고 진단 보고서를 생성하며 증상 설명으로 이미지를 검색하고 해석 가능한 진단을 위한 주의를 시각화하는 통합 다중모달 네트워크를 구축한다. 다중 규모 특징을 위한 앙상블-연결 ResNet과 보조 주의 선명화 모듈이 있는 주의 강화 LSTM을 발전시켰다.

ABSTRACT

The inability to interpret the model prediction in semantically and visually meaningful ways is a well-known shortcoming of most existing computer-aided diagnosis methods. In this paper, we propose MDNet to establish a direct multimodal mapping between medical images and diagnostic reports that can read images, generate diagnostic reports, retrieve images by symptom descriptions, and visualize attention, to provide justifications of the network diagnosis process. MDNet includes an image model and a language model. The image model is proposed to enhance multi-scale feature ensembles and utilization efficiency. The language model, integrated with our improved attention mechanism, aims to read and explore discriminative image feature descriptions from reports to learn a direct mapping from sentence words to image pixels. The overall network is trained end-to-end by using our developed optimization strategy. Based on a pathology bladder cancer images and its diagnostic reports (BCIDR) dataset, we conduct sufficient experiments to demonstrate that MDNet outperforms comparative baselines. The proposed image model obtains state-of-the-art performance on two CIFAR datasets as well.

연구 동기 및 목표

• 영상 특징과 진단 보고서를 정렬시켜 해석가능한 의학 영상 진단의 동기를 부여한다.
• 이미지를 읽고 보고서를 생성하며 증상 설명으로 이미지를 검색하고 주의를 시각화할 수 있는 통합 모델을 개발한다.
• 새로운 ensemble-connection 기반 네트워크를 통해 다중 스케일 이미지 표현을 향상시킨다.
• 예측에 대한 근거를 제공하기 위해 보고서 단어와 이미지 픽셀 간의 의미 맵핑을 학습한다.
• 주의를 향상시키기 위한 보조 감독을 사용하여 이미지 모델과 언어 모델을 공동으로 최적화하도록 엔드-투-엔드로 학습한다.

제안 방법

• 다중 스케일 특징을 통합하고 특징 활용을 개선하기 위해 ensemble-connection을 갖는 EcNet을 도입한다.
• 문장 단어를 이미지 영역에 매핑하기 위해 소프트 어텐션이 있는 LSTM 기반 언어 모델을 채용한다.
• 더 선명하고 클래스 특정의 주의 맵을 생성하기 위한 보조 주의 선명화(AAS) 모듈을 도입한다.
• 두 작업의 그래디언트를 혼합하는 역전파 스킴을 포함하여 진단 결론 예측과 보고서 생성을 함께 최적화하는 공동 학습 목표를 사용한다.
• 효과적인 그래디언트 흐름을 안내하기 위해 언어 모델용 K개의 작업 특화 입력을 만들도록 샘플을 복제하는 학습 스킴을 구현한다.
• 통합 목표 하에 이미지 모델, 언어 모델 및 AAS의 엔드투엔드 최적화를 제공한다.

실험 결과

연구 질문

• RQ1 하나의 통합 다중모달 네트워크가 의학 이미지로부터 진단 보고서를 생성하면서 의미적으로 및 시각적으로 해석 가능한 설명을 제공할 수 있는가?
• RQ2 제안된 MDNet이 방광암 이미지 진단 및 BCIDR 데이터셋의 이미지-언어 작업에서 베이스라인보다 우수한가?
• RQ3 ensemble-connection 기반 네트워크가 의학 영상 작업에서 다중 스케일 특징 활용도를 향상시키는가?
• RQ4 주의 선명화가 임상 해석에서 주의 맵의 위치화 및 유용성을 향상시키는가?

주요 결과

• MDNet은 BCIDR에서 베이스라인과 비교하여 진단 결론 정확도 및 보고서 생성 지표에서 우수한 성과를 보인다.
• MDNet의 문장 가이드 주의 맵은 의학적으로 정보가 풍부한 요로상피 영역에 초점을 맞춰 해석 가능성을 향상시킨다.
• 모델의 DCA(진단 결론 정확도) 점수는 베이스라인보다 개선을 보이고 폴드 간 안정적인 성능을 보여준다.
• EcNet의 Ensemble-connection은 이미지 표현 효율성을 향상시키고 CIFAR-10 및 CIFAR-100에서 일부 베이스라인보다 적은 매개변수로 경쟁력 있는 또는 최첨단 결과를 달성한다.
• 효과적인 그래디언트 흐름을 가진 공동 최적화(이미지 모델과 언어 모델의 그래디언트 균형)는 다중모달 매핑 품질을 향상시키고 작은 의학 데이터셋에서 과적합을 줄인다.
• MDNet은 증상 기반 이미지 검색을 위한 강력한 문장-이미지 매핑 정확도를 보이며 Cr@k 지표에서 베이스라인을 능가한다.