[論文レビュー] A Survey of Multimodal Information Fusion for Smart Healthcare: Mapping the Journey from Data to Wisdom

Thanveer Shaik, Xiaohui Tao+3 more|arXiv (Cornell University)|Jun 21, 2023

Artificial Intelligence in Healthcare被引用数 8

ひとこと要約

このサーベイは、DIKWベースのマルチモーダル融合をスマートヘルスケアに適用し、技術、データセット、課題、および今後のDIKW整合の融合のための一般的なフレームワークを整理する。

ABSTRACT

Multimodal medical data fusion has emerged as a transformative approach in smart healthcare, enabling a comprehensive understanding of patient health and personalized treatment plans. In this paper, a journey from data to information to knowledge to wisdom (DIKW) is explored through multimodal fusion for smart healthcare. We present a comprehensive review of multimodal medical data fusion focused on the integration of various data modalities. The review explores different approaches such as feature selection, rule-based systems, machine learning, deep learning, and natural language processing, for fusing and analyzing multimodal data. This paper also highlights the challenges associated with multimodal fusion in healthcare. By synthesizing the reviewed frameworks and theories, it proposes a generic framework for multimodal medical data fusion that aligns with the DIKW model. Moreover, it discusses future directions related to the four pillars of healthcare: Predictive, Preventive, Personalized, and Participatory approaches. The components of the comprehensive survey presented in this paper form the foundation for more successful implementation of multimodal fusion in smart healthcare. Our findings can guide researchers and practitioners in leveraging the power of multimodal fusion with the state-of-the-art approaches to revolutionize healthcare and improve patient outcomes.

研究の動機と目的

• DIKWモデルをスマートヘルスケアのマルチモーダル融合に適用・適応する。
• データから知恵までのデータモダリティと融合アプローチを調査する。
• 将来の研究のための分類法とDIKW整合の汎用フュージョンフレームワークを提供する。
• 研究と実務を指針づける課題を特定し解決策を提案する。

提案手法

• スマートヘルスケアにおけるデータモダリティ（電子カルテ、画像、ウェアラブル、ゲノミクス、センサー、環境、行動）を記述する。
• 特徴選択、ルールベースシステム、機械学習、深層学習、NLPにまたがる最先端の融合技術をレビューする。
• DIKW整合の分類法と汎用の融合フレームワークを提案する。
• 予測型・予防型・個別化・参加型（4Ps）ヘルスケアに沿った課題・トレンド・将来の方向性を統合する。

実験結果

リサーチクエスチョン

• RQ1 スマートヘルスケアでのマルチモーダル融合に使用されるモダリティは何か、どのように表現されているか。
• RQ2 マルチモーダル医療データを融合する主要な方法論的アプローチは何か。
• RQ3 DIKWベースのフレームワークは現在の技術をどう整理し、将来の研究をどう導くか。
• RQ4 DIKW整合のマルチモーダル融合における課題と将来の方向性は何か。

主な発見

モダリティ	データ型	データセット	サンプル数	属性数	タスク	普及度
EHR	eICU Collaborative Research Database	200,000 admissions	-	Varies	Various tasks, mainly diagnosis and prognosis	Medium
Imaging	MRNet	1,370 exams	MRI data	-	Disease detection	Low
Imaging	RSNA Pneumonia Detection Challenge	30,000 images	Pneumonia labels	-	Disease detection	Low
Imaging	MURA	40,895 images	Abnormal/normal	-	Disease detection	Medium
Imaging	Pediatric Bone Age Challenge Dataset	Thousands of images	Bone age	-	Bone age estimation	Medium
Imaging	Indiana University Chest X-ray Collection	8,000 images	Chest radiograph	DICOM images	Various tasks	Medium
Imaging	FastMRI	Thousands of scans	MRI data	-	Image reconstruction	Medium
Imaging	CheXpert	224,316 images	14 labels per image	-	Disease detection	High
Imaging	OASIS Brains Project	Varies with dataset	MRI and clinical data	-	Brain studies	High
Imaging	LIDC-IDRI	Over 1,000 patients	CT scans with marked-up lesions	-	Nodule detection	High
Imaging	TCIA	Millions of images	Various data types	-	Cancer research	High
Imaging	ChestX-ray8	108,948 images	8 labels per image	-	Disease detection	High
Imaging	BraTS	Varies annually	MRI data	-	Tumor segmentation	High
Genomics, Imaging	TCGA	Thousands of patients	Genomic and clinical data	-	Cancer research	High
Genomics, Imaging, EHR	UK Biobank	500,000 individuals	Various data types	-	Various tasks	Medium
Genomics, Imaging, EHR	ADNI	Thousands of patients	MRI and clinical data	-	Alzheimer’s research	High
Genomics, Imaging	ImageCLEFmed	Varies annually	Various data types	-	Various tasks	Low
Genomics, Imaging	Openi	4.5 million images	Various data types	-	Various tasks	Low
Multimodality	PhysioNet	Various datasets	Various data types	-	Various tasks	High

• DIKWベースの表現（Data, Information, Knowledge, Wisdom）は、スマートヘルスケアにおける融合を循環的でフィードバックを可能にする視点で提供する。
• 分類、規則ベース、機械学習、深層学習、NLPを含むモダリティと融合技術をDIKWフレームワーク内で結びつける分類法。
• 将来の研究と実践的な展開を導く、汎用のDIKW整合マルチモーダル融合フレームワークを提案する。
• データ品質、プライバシー、セキュリティ、臨床統合、倫理、結果解釈など、重大な課題が存在する。
• 広範なデータセットとモダリティ（電子カルテ、画像、ウェアラブル、ゲノミクス、センサー、環境、行動）がマルチモーダル融合研究を支える。
• 将来の方向性はヘルスケアの4P（予測、予防、個別化、参加型）を強調する。