[논문 리뷰] Deep Multi-modal Fusion of Image and Non-image Data in Disease Diagnosis and Prognosis: A Review

Can Cui, Haichun Yang외 7명|arXiv (Cornell University)|2022. 03. 25.

AI in cancer detection인용 수 9

한 줄 요약

이 리뷰는 질병 진단 및 예후 향상을 위해 의료 영상과 비영상 데이터(예: 임상, 유전체)의 깊이 있는 다중모달 융합 분야에서 최근의 발전을 종합적으로 다룹니다. 종단간 학습 워크플로우를 개략적으로 제시하고, 융합 아키텍처(조기, 후기, 하이브리드)를 평가하며, 개인 맞춤 의료를 위한 견고하고 해석 가능하며 임상적으로 활용 가능한 인공지능 시스템을 구현하기 위한 주요 과제와 향후 방향성을 규명합니다.

ABSTRACT

The rapid development of diagnostic technologies in healthcare is leading to higher requirements for physicians to handle and integrate the heterogeneous, yet complementary data that are produced during routine practice. For instance, the personalized diagnosis and treatment planning for a single cancer patient relies on the various images (e.g., radiological, pathological, and camera images) and non-image data (e.g., clinical data and genomic data). However, such decision-making procedures can be subjective, qualitative, and have large inter-subject variabilities. With the recent advances in multi-modal deep learning technologies, an increasingly large number of efforts have been devoted to a key question: how do we extract and aggregate multi-modal information to ultimately provide more objective, quantitative computer-aided clinical decision making? This paper reviews the recent studies on dealing with such a question. Briefly, this review will include the (1) overview of current multi-modal learning workflows, (2) summarization of multi-modal fusion methods, (3) discussion of the performance, (4) applications in disease diagnosis and prognosis, and (5) challenges and future directions.

연구 동기 및 목표

• 이질적인 의료 데이터—영상과 비영상 모달리티—를 통합하여 더 객관적이고 정량적인 임상 의사결정 지원을 위한 증가하는 필요성을 해결한다.
• 의료 진단 및 예후에서 현재의 다중모달 학습 워크플로우를 체계적으로 분석한다.
• 임상 환경에서 다양한 다중모달 융합 기법의 성능과 한계를 평가한다.
• 실제 의료 응용 분야에 다중모달 딥러닝을 도입하기 위한 열린 과제와 향후 연구 방향성을 규명한다.
• 최신 융합 방법과 그 임상적 함의에 대해 연구자와 임상의를 위한 종합적 참조 자료를 제공한다.

제안 방법

• 의료 분야의 다중모달 학습 워크플로우를 조사하고 분류하며, 데이터 전처리, 특징 추출, 융합 전략을 포함한다.
• 융합 방법을 조기, 후기, 하이브리드(중간 단계) 융합으로 분류하고, 의료 맥락에서의 강점과 약점을 분석한다.
• 교차 모달 상호작용을 모델링하기 위해 주로 사용되는 어텐션 메커니즘, 트랜스포머, 그래프 신경망과 같은 딥러닝 아키텍처를 검토한다.
• 이질적인 데이터 소스 간의 모달리티 불균형, 누락 데이터, 도메인 이동 문제를 다루는 기법을 검토한다.
• 모델의 해석 가능성과 임상적 사용 가능성을 분석하며, 진단 및 예후 AI 시스템에서 투명성의 필요성을 강조한다.
• 다양한 의료 데이터셋과 임상 과제에서의 모델 일반화, 견고성, 검증에 대한 통합적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 다중모달 융합 전략(조기, 후기, 하이브리드)이 의료 진단 및 예후 과제에서 어떻게 성능을 발휘하는가?
• RQ2 의료 영상과 유전체, 전자적 건강 기록과 같은 비영상 데이터를 융합할 때 발생하는 주요 기술적 및 임상적 과제는 무엇인가?
• RQ3 어텐션 메커니즘과 기타 딥러닝 구성요소는 헬스케어 분야에서 교차 모달 표현 학습을 어떻게 향상시킬 수 있는가?
• RQ4 다중모달 의료 AI 시스템의 모델 해석 가능성, 일반화 능력, 임상 현장 적용에 대한 현재의 한계는 무엇인가?
• RQ5 실제 임상 적용을 향한 다중모달 융합 기술 발전을 위해 가장 중요한 향후 연구 방향은 무엇인가?

주요 결과

• 조기 및 후기 융합 전략을 조합한 하이브리드 융합 방법은 모달리티 특화 특징 학습과 교차 모달 상호작용을 균형 있게 유지함으로써 뛰어난 성능을 달성하는 경우가 많다.
• 어텐션 기반 융합 메커니즘은 예측 과정에서 다양한 모달리티의 중요도를 동적으로 가중함으로써 모델 성능을 크게 향상시킨다.
• 다중모달 모델은 특히 암이나 신경퇴행성 질환과 같은 복잡한 질환에서 단일 모달리티 기반 베이스라인에 비해 일관되게 뛰어난 진단 및 예후 성능을 보인다.
• 진전에도 불구하고 많은 모델들이 누락 데이터나 모달리티 이동에 취약하여 실생활 적용에서의 심각한 격차를 드러내고 있다.
• 해석 가능성은 여전히 주요 과제이며, 예측에 대한 임상적으로 의미 있는 설명을 제공하는 모델은 극히 소수에 그친다.
• 유전체 및 임상 데이터를 의료 영상과 통합하면 옹종학 및 심장질환 분야에서 더 정확하고 개인 맞춤형 위험 분류가 가능해진다.