[논문 리뷰] Navigating the landscape of multimodal AI in medicine: a scoping review on technical challenges and clinical applications

Daan Schouten, Giulia Nicoletti외 6명|arXiv (Cornell University)|2024. 11. 06.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

의학 전반에 걸친 432건의 심층학습 기반 다중모달 AI 연구(2018–2024)에 대한 범위설계 검토로, 모달리티, 아키텍처, 융합 전략, 도전과제 및 임상 도입 전망을 상세히 다룬다.

ABSTRACT

Recent technological advances in healthcare have led to unprecedented growth in patient data quantity and diversity. While artificial intelligence (AI) models have shown promising results in analyzing individual data modalities, there is increasing recognition that models integrating multiple complementary data sources, so-called multimodal AI, could enhance clinical decision-making. This scoping review examines the landscape of deep learning-based multimodal AI applications across the medical domain, analyzing 432 papers published between 2018 and 2024. We provide an extensive overview of multimodal AI development across different medical disciplines, examining various architectural approaches, fusion strategies, and common application areas. Our analysis reveals that multimodal AI models consistently outperform their unimodal counterparts, with an average improvement of 6.2 percentage points in AUC. However, several challenges persist, including cross-departmental coordination, heterogeneous data characteristics, and incomplete datasets. We critically assess the technical and practical challenges in developing multimodal AI systems and discuss potential strategies for their clinical implementation, including a brief overview of commercially available multimodal AI models for clinical decision-making. Additionally, we identify key factors driving multimodal AI development and propose recommendations to accelerate the field's maturation. This review provides researchers and clinicians with a thorough understanding of the current state, challenges, and future directions of multimodal AI in medicine.

연구 동기 및 목표

• 2018–2024년 기간에 걸쳐 의학 분야의 여러 분야와 과제에서 심층학습 기반 다중모달 AI의 현황을 조사한다.
• 다중모달 의학 AI에서 사용되는 데이터 모달리티, 구조적 접근법, 융합 전략을 특성화한다.
• 데이터 가용성, 누락 모달리티, 검증 관행 등을 포함한 기술적·실용적 도전과제를 식별한다.
• 규제, 설명가능성, 데이터 접근성 고려사항을 포함한 임상 적용 경로를 논의한다.
• 의료 분야에서 다중모달 AI의 성숙도를 가속화하기 위한 권고사항을 제시한다.

제안 방법

• 2018년에서 2024년 사이에 발표된 432편의 논문에 대한 체계적 범위설계 검토.
• 포함 기준: 심층 신경망, 서로 다른 의학 전문 분야의 다중모달 데이터, 그리고 특정 의학 과제.
• 데이터 원천 분석에는 모달리티 분류 및 기관-계통 매핑이 포함되며 공개 데이터셋과 비공개 데이터셋의 평가를 다룬다.
• 보고된 성능 향상 및 검증 관행의 정량적 합성을 수행한다.
• 융합 전략, 인코더 아키텍처, 누락 모달리티 처리에 대한 비판적 평가.

Figure 1: Overview of the screening process.

실험 결과

연구 질문

• RQ1 의료 다중모달 AI 연구에서 널리 사용되는 데이터 모달리티 및 모달리티 조합은 무엇인가?
• RQ2 어떤 기관계와 의학 과제가 다중모달 AI 연구를 지배하며, 단일 모달 기본과 비교했을 때 일반적인 성능 향상은 무엇인가?
• RQ3 가장 일반적인 아키텍처 선택과 융합 전략은 무엇이며, 누락된 데이터는 어떻게 처리되는가?
• RQ4 임상 적용 및 데이터 공유의 주요 장애물은 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ5 다중모달 AI 개발을 이끄는 요인은 무엇이며, 성숙도를 가속화할 수 있는 권고사항은 무엇인가?

주요 결과

• 432편의 연구(2018–2024)는 다중모달 모델이 단일모달 대비 우수한 성능을 보이며, 부분 분석에서 평균 AUC 향상이 6.2 퍼센트 포인트로 나타났다.
• 대부분의 연구(82%)가 내부 검증을 사용하며, 외부 검증을 시행하는 비율은 소수에 불과하다.
• 방사선학 및 텍스트 모달리티가 가장 흔하며(각각 약 30%), 방사선/텍스트 조합이 가장 빈번한 조합이다(206건).
• 인코더의 주류는 CNN(82%), 중간 융합이 가장 일반적인 융합 단계(79%), 연결(concatenation)이 여전히 보편적 융합 방법(69%)이다.
• 조기 융합은 드물다(6%), 반면 후기 융합은(14%) 보통 단일모달 예측이나 각 모달리티별 별도 모델을 활용하며, 주의집중(attention) 기반의 중간 융합이 점점 더 많이 사용된다.
• 공개 데이터셋의 활용이 yoğun(61%)하지만 비공개 데이터셋(24%)과 제한된 외부 검증은 큰 격차로 남아 있다.
• 누락 모달리티 처리은 주요 도전과제이며, 69%의 논문이 불완전 항목을 제외하는 반면, 학습 기반 대체(imputation)와 유연한 아키텍처가 대안으로 탐구된다.

Figure 2: Overview of the data modalities used in the reviewed articles. (A) Distribution of articles by year. Bar chart shows an exponential increment in the number of studies per year from 2018 to 2024. Extrapolating, the number of multimodal medical AI studies is expected to reach 199 by the end