[論文レビュー] INSPECT: A Multimodal Dataset for Pulmonary Embolism Diagnosis and Prognosis

Shih-Cheng Huang, Zepeng Huo+7 more|arXiv (Cornell University)|Nov 17, 2023

Venous Thromboembolism Diagnosis and Management被引用数 7

ひとこと要約

INSPECTは肺血栓塞栓症の診断と予後評価のための大規模なマルチモーダルデータセット（CTPA、放射線報告、縦断的EHR）を提供し、マルチモーダル融合のベースラインモデルとベンチマークを提示します。

ABSTRACT

Synthesizing information from multiple data sources plays a crucial role in the practice of modern medicine. Current applications of artificial intelligence in medicine often focus on single-modality data due to a lack of publicly available, multimodal medical datasets. To address this limitation, we introduce INSPECT, which contains de-identified longitudinal records from a large cohort of patients at risk for pulmonary embolism (PE), along with ground truth labels for multiple outcomes. INSPECT contains data from 19,402 patients, including CT images, radiology report impression sections, and structured electronic health record (EHR) data (i.e. demographics, diagnoses, procedures, vitals, and medications). Using INSPECT, we develop and release a benchmark for evaluating several baseline modeling approaches on a variety of important PE related tasks. We evaluate image-only, EHR-only, and multimodal fusion models. Trained models and the de-identified dataset are made available for non-commercial use under a data use agreement. To the best of our knowledge, INSPECT is the largest multimodal dataset integrating 3D medical imaging and EHR for reproducible methods evaluation and research.

研究の動機と目的

• 3D CT画像、放射線報告所見、縦断的EHRデータを組み合わせた大規模で公開可能なマルチモーダルPEデータセットを作成する。
• 8つのPE関連診断・予後タスクを定義・ラベル付けし、マルチモーダル学習をベンチマークする。
• これらのタスクに対して画像のみ、EHRのみ、マルチモーダル融合モデルを評価し、ベースラインを確立する。
• 再現性のあるマルチモーダルPE研究を促進するために、オープンソースのベースラインと訓練済みモデルを提供する。

提案手法

• DICOM CTデータを対になった23,248件のCTPA検査、19,402人の患者、放射線報告所見、構造化EHRとともに特定対象群を除去して収集する。
• HUリスケーリング、三視窗（肺、PE、縦隔）を224x224x3スライスへ変換し、事前学習済みの画像エンコーダとシーケンスモデル（LSTM/GRU/Transformer）を用いてCTPA画像を処理する。
• Gradient-Boosted Trees（LightGBM）用のカウントベース特徴でEHRデータを特徴量化し、予後タスクには線形プローブを用いた MOTOR（時系列予測型事前学習EHRモデル）を適用する。
• 8つの診断/予後タスクを定義（NLP-impressionによるPE診断、PH、院内死亡、再入院等を含む予後を欠測イベントでセンサリング）。
• ベースライン融合として、モダリティ別予測を学習済みロジスティック回帰で結合する後方融合を実装する。
• 再現可能なベンチマークを可能にするよう、データ使用契約の下でコードと訓練済みモデルの重みを公開する。

実験結果

リサーチクエスチョン

• RQ1 CT映像、放射線所見、縦断的EHRデータを組み合わせたマルチモーダルモデルは、PE診断・予後タスクで単一モダリティモデルより優れているか？
• RQ2 診断タスクと予後タスクでどのモダリティが優位になり、後方融合は性能にどう影響するか？
• RQ3 事前学習済みEHR基盤モデル（MOTOR）は、画像データと組み合わせた場合にPE予後予測へどの程度転移するか？
• RQ4 単一サイトのデータセットでマルチモーダルPE予測を訓練する際の制約と一般化の考慮点は何か？

主な発見

• 画像のみのモデルはPE診断タスクで優秀だが、構造化EHRモデルは予後タスクでより良い性能を示す。
• CTとEHRモデルの融合は診断性能を改善するが、予後タスクの改善には一貫しない。
• CTとEHRを組み合わせた最良構成は、単一モダリティと比較して診断タスクのAUROCを向上させる。
• モデル重みと訓練済みベースラインを公開し、再現性とさらなるマルチモーダルPE研究を支援する。
• INSPECTは、再現性のあるベンチマークのために、現時点で最大級の公開可能なマルチモーダル3D医用画像と縦断的EHRデータセットを提供する。