[논문 리뷰] Fusion of medical imaging and electronic health records with attention and multi-head machanisms

Cheng Jiang, Yihao Chen외 4명|arXiv (Cornell University)|2021. 12. 22.

Medical Imaging and Analysis인용 수 8

한 줄 요약

이 논문은 게이팅 다중모달 유닛(GMU) 내에서 다중모달 주의 모듈과 다중헤드 기법을 사용하여 의료 영상과 전자적 건강 기록(EHR) 간의 새로운 융합 프레임워크를 제안한다. EHR 데이터를 활용해 CNN 기반 영상 특징 추출을 이끌고, 여러 하위공간에서 병렬 융합을 가능하게 함으로써 뇌내출혈 예후 예측 및 알츠하이머병 분류 과제에서 성능을 향상시켰으며, 임상 과제에 특화된 특징 선택을 통해 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Doctors often make diagonostic decisions based on patient's image scans, such as magnetic resonance imaging (MRI), and patient's electronic health records (EHR) such as age, gender, blood pressure and so on. Despite a lot of automatic methods have been proposed for either image or text analysis in computer vision or natural language research areas, much fewer studies have been developed for the fusion of medical image and EHR data for medical problems. Among existing early or intermediate fusion methods, concatenation of features from both modalities is still a mainstream. For a better exploiting of image and EHR data, we propose a multi-modal attention module which use EHR data to help the selection of important regions during image feature extraction process conducted by traditional CNN. Moreover, we propose to incorporate multi-head machnism to gated multimodal unit (GMU) to make it able to parallelly fuse image and EHR features in different subspaces. With the help of the two modules, existing CNN architecture can be enhanced using both modalities. Experiments on predicting Glasgow outcome scale (GOS) of intracerebral hemorrhage patients and classifying Alzheimer's Disease showed the proposed method can automatically focus on task-related areas and achieve better results by making better use of image and EHR features.

연구 동기 및 목표

• 임상 의사결정 지원 시스템에서 의료 영상과 EHR 데이터의 융합이 제한적인 문제를 해결하기 위해.
• 간단한 특징 연결에 의존하는 전통적인 초기 또는 중간 융합 방법의 한계를 극복하기 위해.
• 특징 추출 과정에서 EHR 데이터가 관련 영상 영역의 선택을 이끌 수 있도록 하기 위해.
• 다중헤드 기법을 활용해 여러 하위공간에서 표현을 학습함으로써 특징 융합을 향상시키기 위해.
• 글라스고 예후 척도(GOS) 및 알츠하이머병 분류와 같은 임상 예측 과제에서 성능을 향상시키기 위해.

제안 방법

• EHR 특징을 사용해 CNN 기반 특징 추출 과정에서 의료 영상의 중요 영역을 주시하고 강조하는 다중모달 주의 모듈을 도입한다.
• 다중헤드 기법을 통해 게이팅 다중모달 유닛(GMU)을 강화하여 다양한 하위공간에서 영상 및 EHR 특징을 병렬 융합할 수 있도록 한다.
• 기존의 CNN 아키텍처에 주의 및 다중헤드 모듈을 통합함으로써 아키텍처의 전반적 개편 없이도 적용 가능하도록 한다.
• EHR 데이터를 동적 주의 맵으로 활용해 영상 특징 학습을 조절함으로써 관련성과 해석 가능성을 향상시킨다.
• 작업의 관련성에 따라 모odal별 특징을 적응적으로 조합하는 학습 가능한 융합 기법을 사용한다.
• 임상 데이터셋에서 분류 과제를 위한 교차 엔트로피 손실을 사용해 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 특징 추출 과정에서 EHR 데이터를 활용해 임상 과제에 관련된 영상 영역을 효과적으로 선택할 수 있는가?
• RQ2 융합 과정에 다중헤드 기법을 통합할 경우 단일헤드 또는 연결 기반 방법에 비해 성능 향상이 이루어지는가?
• RQ3 제안된 주의 및 다중헤드 융합 프레임워크가 기존 최신 기술 수준의 방법보다 우수한 성능을 보일 수 있는가?
• RQ4 모델의 주의 메커니즘이 뇌내출혈 및 알츠하이머병의 임상적으로 관련된 영상 영역과 얼마나 잘 일치하는가?
• RQ5 EHR와 영상 데이터의 통합이 GOS 및 알츠하이머병 분류의 예측 정확도 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 뇌내출혈 환자의 글라스고 예후 척도(GOS) 예측에서 베이스라인 모델을 능가하는 뛰어난 성능을 달성하였다.
• 통합된 영상 및 EHR 데이터를 사용하여 알츠하이머병 분류 정확도가 향상됨을 입증하였다.
• 주의 메커니즘이 뇌 MRI 스캔에서 임상적으로 관련된 영역을 성공적으로 강조하여 해석 가능성을 향상시켰다.
• 다중헤드 융합 기법을 통해 하위공간 간 더 견고하고 다양한 특징 표현 학습이 가능해졌다.
• GOS 예측 및 알츠하이머병 분류 과제에서 모두 최신 기술 수준의 성능을 달성하였다.
• 제거 실험을 통해 주의 및 다중헤드 구성 요소가 성능 향상에 기여하는 것이 명확히 확인되었다.