[논문 리뷰] A Survey of Multimodal Information Fusion for Smart Healthcare: Mapping the Journey from Data to Wisdom

Thanveer Shaik, Xiaohui Tao외 3명|arXiv (Cornell University)|2023. 06. 21.

Artificial Intelligence in Healthcare인용 수 8

한 줄 요약

이 연구는 스마트 헬스케어를 위한 DIKW 기반 다중모달 융합을 매핑하고, 융합 기술, 데이터세트, 도전 과제, 및 향후 DIKW 정렬 융합을 위한 일반 프레임워크를 제시합니다.

ABSTRACT

Multimodal medical data fusion has emerged as a transformative approach in smart healthcare, enabling a comprehensive understanding of patient health and personalized treatment plans. In this paper, a journey from data to information to knowledge to wisdom (DIKW) is explored through multimodal fusion for smart healthcare. We present a comprehensive review of multimodal medical data fusion focused on the integration of various data modalities. The review explores different approaches such as feature selection, rule-based systems, machine learning, deep learning, and natural language processing, for fusing and analyzing multimodal data. This paper also highlights the challenges associated with multimodal fusion in healthcare. By synthesizing the reviewed frameworks and theories, it proposes a generic framework for multimodal medical data fusion that aligns with the DIKW model. Moreover, it discusses future directions related to the four pillars of healthcare: Predictive, Preventive, Personalized, and Participatory approaches. The components of the comprehensive survey presented in this paper form the foundation for more successful implementation of multimodal fusion in smart healthcare. Our findings can guide researchers and practitioners in leveraging the power of multimodal fusion with the state-of-the-art approaches to revolutionize healthcare and improve patient outcomes.

연구 동기 및 목표

• DIKW 모델을 스마트 헬스케어의 다중모달 융합에 채택하고 적응한다.
• 데이터에서 지혜까지 데이터 모달리티와 융합 접근법을 조사한다.
• 향후 연구를 위한 계보학 및 DIKW 정렬 융합 프레임워크를 제시한다.
• 연구 및 실무를 이끌 솔루션을 제시하기 위한 도전 과제를 식별하고 제안을 제공한다.

제안 방법

• 스마트 헬 healthcare의 데이터 모달리티를 설명한다(전자의무기록 EHRs, 영상, 웨어러블, 게놈학, 센서, 환경, 행동).
• 특징 선택, 규칙 기반 시스템, 머신러닝, 딥러닝, NLP에 걸친 최첨단 융합 기술을 검토한다.
• DIKW 일관 계보학과 일반적인 융합 프레임워크를 제안한다.
• 예측, 예방, 개인화, 참여형(4Ps) 보건의료에 맞춘 도전 과제, 동향 및 향후 방향을 종합한다.

실험 결과

연구 질문

• RQ1 스마트 헬스케어에서 다중모달 융합에 사용되는 모달리티는 무엇이며 어떻게 표현되는가?
• RQ2 다중모달 의료 데이터를 융합하기 위한 주요 방법론적 접근은 무엇인가?
• RQ3 DIKW 기반 프레임워크가 현재의 기술을 어떻게 조직하고 향후 연구를 어떻게 안내할 수 있는가?
• RQ4 의료 분야에서 DIKW 정렬 다중모달 융합의 도전 과제와 향후 방향은 무엇인가?

주요 결과

모달리티	데이터타입	데이터셋	사례 수	속성 수	작업	인기도
EHR	eICU Collaborative Research Database	200,000 admissions	-	Varies	Various tasks, mainly diagnosis and prognosis	Medium
Imaging	MRNet	1,370 exams	MRI data	-	Disease detection	Low
Imaging	RSNA Pneumonia Detection Challenge	30,000 images	Pneumonia labels	-	Disease detection	Low
Imaging	MURA	40,895 images	Abnormal/normal	-	Disease detection	Medium
Imaging	Pediatric Bone Age Challenge Dataset	Thousands of images	Bone age	-	Bone age estimation	Medium
Imaging	Indiana University Chest X-ray Collection	8,000 images	Chest radiograph	DICOM images	Various tasks	Medium
Imaging	FastMRI	Thousands of scans	MRI data	-	Image reconstruction	Medium
Imaging	CheXpert	224,316 images	14 labels per image	-	Disease detection	High
Imaging	OASIS Brains Project	Varies with dataset	MRI and clinical data	-	Brain studies	High
Imaging	LIDC-IDRI	Over 1,000 patients	CT scans with marked-up lesions	-	Nodule detection	High
Imaging	TCIA	Millions of images	Various data types	-	Cancer research	High
Imaging	ChestX-ray8	108,948 images	8 labels per image	-	Disease detection	High
Imaging	BraTS	Varies annually	MRI data	-	Tumor segmentation	High
Genomics, Imaging	TCGA	Thousands of patients	Genomic and clinical data	-	Cancer research	High
Genomics, Imaging, EHR	UK Biobank	500,000 individuals	Various data types	-	Various tasks	Medium
Genomics, Imaging, EHR	ADNI	Thousands of patients	MRI and clinical data	-	Alzheimer’s research	High
Genomics, Imaging	ImageCLEFmed	Varies annually	Various data types	-	Various tasks	Low
Genomics, Imaging	Openi	4.5 million images	Various data types	-	Various tasks	Low
Multimodality	PhysioNet	Various datasets	Various data types	-	Various tasks	High

• DIKW 기반 표현(Data, Information, Knowledge, Wisdom)은 스마트 헬스케어의 융합에 대해 순환적이고 피드백 가능성을 갖는 시각을 제공한다.
• 계통학은 모달리티와 융합 기술(특징 선택, 규칙 기반, ML, 딥러닝, NLP)을 DIKW 프레임워크 내에서 연결한다.
• 향후 연구 및 실무 적용을 안내하기 위한 일반적인 DIKW 정렬 다중모달 융합 프레임워크가 제안된다.
• 데이터 품질, 프라이버시, 보안, 임상 통합, 윤리 및 결과 해석에서 상당한 도전 과제가 존재한다.
• 다양한 모달리티와 데이터셋(전자의무기록, 영상, 웨어러블, 게놈학, 센서, 환경, 행동)을 포함한 광범위한 데이터세트가 다중모달 융합 연구를 뒷받침한다.
• 향후 방향은 보건의료의 4Ps(예측적, 예방적, 개인화, 참여형)를 강조한다.