[논문 리뷰] INSPECT: A Multimodal Dataset for Pulmonary Embolism Diagnosis and Prognosis

Shih-Cheng Huang, Zepeng Huo외 7명|arXiv (Cornell University)|2023. 11. 17.

Venous Thromboembolism Diagnosis and Management인용 수 7

한 줄 요약

INSPECT는 흉부 폐색전증 진단 및 예후를 위한 대규모 다중 모달 데이터세트(CTPAs, 방사선 보고서, 그리고 종단적 EHR)를 도입하고, 다중 모달 융합의 벤치마크와 기본 모델을 제공합니다.

ABSTRACT

Synthesizing information from multiple data sources plays a crucial role in the practice of modern medicine. Current applications of artificial intelligence in medicine often focus on single-modality data due to a lack of publicly available, multimodal medical datasets. To address this limitation, we introduce INSPECT, which contains de-identified longitudinal records from a large cohort of patients at risk for pulmonary embolism (PE), along with ground truth labels for multiple outcomes. INSPECT contains data from 19,402 patients, including CT images, radiology report impression sections, and structured electronic health record (EHR) data (i.e. demographics, diagnoses, procedures, vitals, and medications). Using INSPECT, we develop and release a benchmark for evaluating several baseline modeling approaches on a variety of important PE related tasks. We evaluate image-only, EHR-only, and multimodal fusion models. Trained models and the de-identified dataset are made available for non-commercial use under a data use agreement. To the best of our knowledge, INSPECT is the largest multimodal dataset integrating 3D medical imaging and EHR for reproducible methods evaluation and research.

연구 동기 및 목표

• 대규모의 공개 가능한 다중 모달 PE 데이터셋을 3D CT 이미지, 방사선 보고서 인상(Impression), 그리고 종단 EHR 데이터를 결합하여 만든다.
• 다중 모달 학습을 벤치마크하기 위해 PE 관련 진단 및 예후 작업 8개를 정의하고 라벨링한다.
• 이 작업들에서 영상 전용, EHR 전용, 그리고 다중 모달 융합 모델을 평가하여 기준치를 세운다.
• 재현 가능한 다중 모달 PE 연구를 촉진하기 위해 오픈 소스 기본 모델과 학습된 모델을 제공한다.

제안 방법

• 비식별화된 코호트로서 DICOM CT 데이터, 방사선 보고서 인상(Impression), 그리고 구조화된 EHR을 가진 19,402명의 환자에서 23,248건의 CTPA 연구를 구성한다.
• CTPA 이미지를 HU 재스케일링, 세 뷰 윈도잉(폐, PE, 흉강중격)으로 224x224x3 슬라이스로 변환하고, 사전학습된 이미지 인코더와 시퀀스 모델(LSTM/GRU/Transformer)을 사용한다.
• EHR 데이터를 카운트 기반 특징으로 피처링해 그래디언트 부스팅 트리(LightGBM)에 맞추고, Prognostic 작업을 위해 시간-대-이벤트 사전학습 EHR 모델인 MOTOR를 선형 프로브로 적응시킨다.
• NLP-인상(Impression)을 통한 PE 진단과 PH, 입원 중 사망, 재입원 등을 포함한 예후를 포함한 여덟 가지 진단/예후 작업을 정의하고, 향후 이벤트의 누락에 대한 검열을 적용한다.
• 학습된 모달리티별 예측을 결합하는 로지스틱 회귀를 통한 레이트 융합으로 기본 융합을 구현한다.
• 데이터 사용 계약 하에 코드와 학습된 모델 가중치를 공개하여 재현 가능한 벤치마킹을 가능하게 한다.

실험 결과

연구 질문

• RQ1 CTP 이미지, 방사선 인상(Impression), 그리고 종단 EHR 데이터를 결합한 다중 모달 모델이 PE 진단 및 예후 작업에서 단일 모달 모델보다 성능이 더 우수한가?
• RQ2 진단 대 예후 작업에서 어떤 모달리티가 우세하며, 레이트 융합은 성능에 어떻게 영향을 미치는가?
• RQ3 사전학습된 EHR 기반 모델(MOTOR)이 영상 데이터와 함께 PE 예후 예측으로 전달될 때 얼마나 잘 작용하는가?
• RQ4 단일 사이트 데이터셋으로 다중 모달 PE 예측 모델을 학습할 때의 한계점과 일반화 가능성은 무엇인가?

주요 결과

• 영상 전용 모델은 PE 진단 작업에서 우수하고, 구조화된 EHR 모델은 예후 작업에서 더 좋은 성능을 보인다.
• CT와 EHR의 융합은 진단 성능을 향상시키지만 예후 작업에서는 일관되게 성능을 높이지는 않는다.
• CT와 EHR을 결합한 구성 중 최상위 구성이 진단 작업에서 AUROC를 더 높게 달성한다.
• 모델 가중치와 학습된 기본 모델은 재현성 확보 및 추가 다중 모달 PE 연구를 지원하기 위해 공개된다.
• INSPECT는 재현 가능한 벤치마크를 위한 현재까지 가장 큰 공개 다중 모달 3D 의학영상 및 종단 EHR 데이터셋을 나타낸다.