[論文レビュー] MedFuse: Multi-modal fusion with clinical time-series data and chest X-ray images

Nasir Hayat, Krzysztof J. Geras+1 more|arXiv (Cornell University)|Jul 14, 2022

COVID-19 diagnosis using AI被引用数 13

ひとこと要約

MedFuseは、臨床時系列データとチストレントゲン画像を順序付きトークンとして扱う、LSTMに基づく新規なマルチモodal融合フレームワークを提案する。このアプローチにより、完全対応および部分的対応データの両方で頑健な性能を発揮でき、MIMIC-IVおよびMIMIC-CXRデータセットにおける入院内死亡予測およびプロフィール分類タスクで最先端の結果を達成する。訓練時においてもモダリティ間相関を仮定せず、全モダリティを必要としない。

ABSTRACT

Multi-modal fusion approaches aim to integrate information from different data sources. Unlike natural datasets, such as in audio-visual applications, where samples consist of "paired" modalities, data in healthcare is often collected asynchronously. Hence, requiring the presence of all modalities for a given sample is not realistic for clinical tasks and significantly limits the size of the dataset during training. In this paper, we propose MedFuse, a conceptually simple yet promising LSTM-based fusion module that can accommodate uni-modal as well as multi-modal input. We evaluate the fusion method and introduce new benchmark results for in-hospital mortality prediction and phenotype classification, using clinical time-series data in the MIMIC-IV dataset and corresponding chest X-ray images in MIMIC-CXR. Compared to more complex multi-modal fusion strategies, MedFuse provides a performance improvement by a large margin on the fully paired test set. It also remains robust across the partially paired test set containing samples with missing chest X-ray images. We release our code for reproducibility and to enable the evaluation of competing models in the future.

研究の動機と目的

• 非同期的かつ部分的に対応した臨床データのマルチモダリティ学習における課題に対処するため、訓練時および推論時における欠損モダリティを処理できる統合モデルを設計すること。
• 公開済みのMIMIC-IVおよびMIMIC-CXRデータセットを用いて、入院内死亡予測およびプロフィール分類の新しいベンチマーク結果を提示すること。
• 将来的なマルチモダリティ臨床モデルの評価を支援するため、再現可能なデータ前処理パイプラインとコードベースをリリースすること。
• モダリティ固有の特徴抽出器に依存しない、2つ以上のモダリティにスケーラブルな統合アーキテクチャを開発すること。
• 多様なデータ収集プロセスを有する臨床現場において、統合統合（joint fusion）が早期統合（early fusion）および後期統合（late fusion）戦略を上回ることを実証すること。

提案手法

• MedFuseは、各モダリティの特徴（例：時系列データやレントゲン画像特徴）を単一モダリティの埋め込みとして扱い、LSTMベースの統合モジュールのトークンとして順序付きシーケンスとしてモデル化する。
• 統合モジュールはLSTMの再帰的インダクティブバイアスを活用して可変長シーケンスを処理し、欠損した入力をヌルトークンとして扱うことで、欠損モダリティの処理を可能にする。
• 各モダリティの特徴抽出器は独立しており、深層学習アーキテクチャの任意のものを利用可能であり、統合モジュールは内部設計に依存しない。
• 分類タスクにおいて標準的なクロスエントロピー損失を用いてエンドツーエンドで学習され、モダリティ間相関の仮定は不要である。
• 訓練時および推論時において完全対応データと部分的対応データの両方をサポートし、実臨床データにおける一般化性能を向上させる。
• 統合損失関数に変更を加えることなく、2つ以上のモダリティへも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 非同期的収集および部分的対応データの下で、LSTMベースの統合モジュールが臨床時系列データとチストレントゲン画像を効果的に統合できるか？
• RQ2 実臨床データおよび多様なデータ収集プロセスを有する臨床予測タスクにおいて、MedFuseは標準的な早期統合および統合ベースラインを上回るか？
• RQ3 推論時にレントゲン画像が欠損している場合、全モダリティを必要とするモデルと比較して、モデルの性能はいかがなっているか？
• RQ4 モダリティ間相関を仮定せず、対応データを必要としない状況でも、MedFuseは最先端の性能を達成できるか？
• RQ5 マルチモダリティデータの統合が、入院内死亡予測およびプロフィール分類タスクの性能向上にどの程度寄与するか？

主な発見

• MedFuseは、完全対応テストセットにおいて入院内死亡予測で最先端の性能を達成し、より複雑なマルチモダリティ統合手法を上回った。
• 部分的対応テストセットにおいても、レントゲン画像が欠損しているにもかかわらず、頑健な性能を維持した。
• マルチモダリティ入力を用いることで性能向上が確認され、両ベンチマークタスクにおいてユニモダリティベースラインより顕著な改善が得られた。
• 部分的対応訓練セットのサイズと性能向上の相関は弱く、スパarsityが強い状況でも、利用可能なデータを効果的に活用していることが示された。
• 臨床時系列データとX線特徴の間に相関がないと仮定しても、モデルはモダリティ間で良好に一般化した。
• 著者らは、MIMIC-IVおよびMIMIC-CXR用に再現可能なコードベースと前処理パイプラインをリリースし、将来的なマルチモダリティ臨床モデルのベンチマークを可能にした。