[논문 리뷰] MedFuse: Multi-modal fusion with clinical time-series data and chest X-ray images

Nasir Hayat, Krzysztof J. Geras외 1명|arXiv (Cornell University)|2022. 07. 14.

COVID-19 diagnosis using AI인용 수 13

한 줄 요약

MedFuse는 임상 시계열 데이터와 흉부 X-ray 영상을 순차적 토큰으로 간주하는 새로운 LSTM 기반 다중모달 융합 프레임워크를 제안한다. 이는 완전히 쌍화된 데이터뿐 아니라 부분적으로 쌍화된 데이터에서도 강력한 성능을 발휘하며, 모달 간 상관관계를 가정하거나 훈련 시 모든 모달을 요구하지 않아도 된다. MIMIC-IV 및 MIMIC-CXR 데이터셋에서 입원 중 사망 예측과 표현형 분류 과제에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Multi-modal fusion approaches aim to integrate information from different data sources. Unlike natural datasets, such as in audio-visual applications, where samples consist of "paired" modalities, data in healthcare is often collected asynchronously. Hence, requiring the presence of all modalities for a given sample is not realistic for clinical tasks and significantly limits the size of the dataset during training. In this paper, we propose MedFuse, a conceptually simple yet promising LSTM-based fusion module that can accommodate uni-modal as well as multi-modal input. We evaluate the fusion method and introduce new benchmark results for in-hospital mortality prediction and phenotype classification, using clinical time-series data in the MIMIC-IV dataset and corresponding chest X-ray images in MIMIC-CXR. Compared to more complex multi-modal fusion strategies, MedFuse provides a performance improvement by a large margin on the fully paired test set. It also remains robust across the partially paired test set containing samples with missing chest X-ray images. We release our code for reproducibility and to enable the evaluation of competing models in the future.

연구 동기 및 목표

• 비동기적이고 부분적으로 쌍화된 임상 데이터 문제를 다루기 위해, 훈련 및 추론 중에 누락된 모달을 처리할 수 있는 융합 모델을 설계한다.
• 공개된 MIMIC-IV 및 MIMIC-CXR 데이터셋을 사용하여 입원 중 사망 예측 및 표현형 분류 과제에 대한 새로운 벤치마크 성능을 제시한다.
• 향후 다중모달 임상 모델 평가를 지원하기 위해 재현 가능한 데이터 전처리 파이프라인과 코드베이스를 공개한다.
• 모달 전용 특징 추출기의 내부 설계에 영향을 받지 않는 융합 아키텍처를 개발하고, 두 개 이상의 모달로도 확장 가능하도록 한다.
• 이종적인 데이터 수집 환경에서 공동 융합이 조기 융합 및 후기 융합 전략보다 우수한 성능을 낼 수 있음을 입증한다.

제안 방법

• MedFuse는 각 모달의 단일 모달 임베딩(예: 시계열 및 X-ray 특징)을 순차적 토큰으로 간주하여 LSTM 기반 융합 모듈에 입력한다.
• 융합 모듈은 LSTM의 순환 인덕티브 바이어스를 활용해 가변 길이의 시퀀스를 처리하며, 누락된 입력은 null 토큰으로 간주함으로써 모달 누락 문제를 해결한다.
• 각 모달의 특징 추출기는 상호 독립적이며, 딥러닝 아키텍처의 어떤 형태이든 가능하며, 융합 모듈은 내부 설계에 영향을 받지 않는다.
• 분류 과제를 위해 표준 크로스 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 모달 간 상관관계를 가정할 필요가 없다.
• 훈련 및 추론 모두에서 완전히 쌍화된 데이터뿐 아니라 부분적으로 쌍화된 데이터를 지원하여 실제 임상 데이터에서의 일반화 능력을 향상시킨다.
• 융합 손실 함수에 변화 없이 두 개 이상의 모달로도 확장 가능한 프레임워크로 설계되어 있다.

실험 결과

연구 질문

• RQ1 비동기적으로 수집되고 부분적으로 쌍화된 데이터에서, LSTM 기반 융합 모듈이 임상 시계열 데이터와 흉부 X-ray 영상을 효과적으로 융합할 수 있는가?
• RQ2 실제 이종적인 데이터에서 임상 예측 과제에서 MedFuse가 표준 조기 융합 및 공동 융합 베이스라인을 초월하는가?
• RQ3 추론 시 흉부 X-ray 영상이 누락되었을 경우, 모든 모달이 필요한 모델과 비교해 MedFuse의 성능은 어떻게 되는가?
• RQ4 모달 간 상관관계를 가정하거나 쌍화된 데이터가 필요 없이 MedFuse가 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 다중모달 데이터의 포함이 입원 중 사망 예측 및 표현형 분류 과제 성능 향상에 어느 정도 기여하는가?

주요 결과

• MedFuse는 입원 중 사망 예측 과제에서 완전히 쌍화된 테스트 세트에서 최신 기술 수준의 성능를 달성했으며, 더 복잡한 다중모달 융합 방법들보다 뛰어난 성능를 보였다.
• 부분적으로 쌍화된 테스트 세트에서도 강력한 성능 유지를 보였으며, 흉부 X-ray 영상 누락 상황에서도 뛰어난 일반화 능력을 입증했다.
• 다중모달 입력을 사용할 경우 성능 향상이 관찰되었으며, 두 벤치마크 과제에서 단일모달 베이스라인 대비 뚜렷한 향상이 있었다.
• 부분적으로 쌍화된 훈련 세트의 크기와 성능 향상 간 상관관계가 약했으며, 이는 모델이 데이터 부족 상황에서도 가용 데이터를 효과적으로 활용함을 시사한다.
• 임상 시계열과 X-ray 특징 간 상관관계를 가정하지 않아도 모달 간 일반화 능력이 뛰어나다.
• 저자들은 MIMIC-IV 및 MIMIC-CXR를 위한 재현 가능한 코드베이스와 전처리 파이프라인을 공개하여 향후 다중모달 임상 모델의 벤치마킹을 가능하게 했다.