[논문 리뷰] AliFuse: Aligning and Fusing Multi-modal Medical Data for Computer-Aided Diagnosis

Qiuhui Chen, Yi Hong|arXiv (Cornell University)|2024. 01. 02.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 대조적 학습을 통해 다중모달 의료 데이터—특히 MRI 스캔과 인구통계, 검사 결과, 임상 요약과 같은 비영상 임상 데이터—를 정렬하고 융합하는 트랜스포머 기반 시각-언어 모델인 AliFuse를 제안한다. 이는 알츠하이머병 진단을 향상시키기 위한 것이다. 교차 모달 정렬을 위한 대조적 학습과 교차 어텐션을 통한 특징 융합을 활용함으로써 AliFuse는 다섯 개인 공개 AD 데이터셋에서 최신 기술 수준의 성능을 달성하며, 영상 전용 모델 대비 13퍼센트 이상의 정확도 향상을 기록한다.

ABSTRACT

Medical data collected for diagnostic decisions are typically multimodal, providing comprehensive information on a subject. While computer-aided diagnosis systems can benefit from multimodal inputs, effectively fusing such data remains a challenging task and a key focus in medical research. In this paper, we propose a transformer-based framework, called Alifuse, for aligning and fusing multimodal medical data. Specifically, we convert medical images and both unstructured and structured clinical records into vision and language tokens, employing intramodal and intermodal attention mechanisms to learn unified representations of all imaging and non-imaging data for classification. Additionally, we integrate restoration modeling with contrastive learning frameworks, jointly learning the high-level semantic alignment between images and texts and the low-level understanding of one modality with the help of another. We apply Alifuse to classify Alzheimer's disease, achieving state-of-the-art performance on five public datasets and outperforming eight baselines.

연구 동기 및 목표

• 효율적으로 다중모달 의료 데이터—특히 영상과 비영상 임상 데이터—를 융합하여 보조 진단 성능을 향상시키는 데 도전한다.
• 시각과 언어 표현을 동일한 공간에 정렬하는 통합 프레임워크를 개발하여 강력하고 종합적인 진단 분류를 가능하게 한다.
• 구조적 MRI, 인구통계 정보, 검사 결과, 임상 서술 등 다양한 데이터 유형을 통합함으로써 알츠하이머병 분류의 진단 성능을 향상시킨다.
• 특히 임상 수치(예: 검사값, 나이 등)를 텍스트에서 더 효과적으로 처리하기 위해 전용 손실 함수를 도입하여 모델의 임상 수치에 대한 민감도를 향상시킨다.

제안 방법

• 의료 영상과 비영상 텍스트 데이터를 트랜스포머 기반 아키텍처에서 공동 처리할 수 있도록 시각 토큰과 언어 토큰으로 변환한다.
• 이미지-텍스트 대조적 학습을 통해 시각적 및 텍스트 임베딩을 공유 표현 공간으로 정렬함으로써 교차 모달 이해를 향상시킨다.
• 분류 과정에서 동적이고 맥락 인식 기반 특징 융합을 가능하게 하기 위해 이미지 토큰과 텍스트 토큰 간에 교차 어텐션 메커니즘을 구현한다.
• 임상 수치(예: 검사값, 나이 등)에 대한 모델 민감도 향상을 위해 전용 수치 손실($L_{\text{num}}$)을 도입한다.
• 원시 MRI 볼륨과 비정형/정형 임상 데이터를 사용하여 다섯 개인 공개 AD 데이터셋(ADNI, NACC, OASIS, AIBL, MIRIAD)에서 모델를 엔드 투 엔드로 훈련한다.
• 다양한 모odal 특징을 추출하고 정렬한 후 분류하기 위해 사전 훈련된 시각 인코더와 미세조정된 텍스트 인코더를 활용한다.

실험 결과

연구 질문

• RQ1 통합된 시각-언어 모델이 MRI 스캔과 비영상 임상 데이터를 포함한 다중모달 의료 데이터를 효과적으로 정렬하고 융합하여 알츠하이머병 진단을 향상시킬 수 있는가?
• RQ2 대조적 학습을 통한 명시적 교차 모달 정렬이 단순한 특징 연결 또는 후기 융합 대비 진단 성능에 어떤 영향을 미치는가?
• RQ3 다양한 비영상 데이터 유형(예: 인구통계, 검사 결과, 임상 요약 등) 중 어느 것이 알츠하이머병 분류 정확도에 가장 큰 기여를 하는가?
• RQ4 텍스트 내 임상 수치에 특화된 손실 함수가 임상 데이터 기반 모델 성능 향상에 어느 정도 기여하는가?
• RQ5 모델의 어텐션 메커니즘이 영상과 텍스트 양쪽에서 임상적으로 유의미한 특징을 어떻게 반영하는가?

주요 결과

• AliFuse는 다섯 개인 공개 알츠하이머병 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, ADNI에서 테스트 정확도가 87.93%로 영상 전용 기준보다 13个百分点 이상 높게 기록되었다.
• 텍스트 전용 기준 대비 정확도가 6퍼센트 이상 향상되었고, ADNI에서 기존 최신 기술 수준 모델인 Irene를 4퍼센트 이상 초월하였다.
• 비영상 데이터의 포함, 특히 검사 결과의 기여가 가장 크며, 비영상 데이터를 모두 제거한 경우 대비 검사 결과만으로도 정확도가 3퍼센트 이상 향상되었다.
• 제거 실험 결과, 정렬 손실과 수치 손실($L_{\text{num}}$)이 모두 핵심 요소임을 확인하였으며, 후자의 경우 단독으로도 3퍼센트 이상의 정확도 향상을 기록하였다.
• 어텐션 시각화 결과, AliFuse는 영상에서는 뇌 구조(예: 뇌실,皮질 등)와 텍스트에서는 'MMSE', 'CDR', '논리적 기억', '여성' 등의 핵심 임상 용어에 집중하는 것으로 나타났다.
• t-SNE 시각화 결과, 정렬된 다중모달 특징는 단모달 또는 정렬되지 않은 다중모달 표현보다 더 나은 클래스 분리도를 보였으며, NC, MCI, AD 그룹 간에 뚜렷한 군집이 형성되었다.