[論文レビュー] A Multimodal Transformer: Fusing Clinical Notes with Structured EHR Data for Interpretable In-Hospital Mortality Prediction

Weimin Lyu, Xinyu Dong+5 more|PubMed|Aug 9, 2022

Machine Learning in Healthcare参考文献 21被引用数 35

ひとこと要約

時系列構造化EHRデータと臨床ノートを融合するマルチモーダルトランスフォーマーを紹介。ノートにはClinical BERTを使用し、モニタ病院内死亡予測を改善。解釈可能なIGとShapley分析も提供。

ABSTRACT

Deep-learning-based clinical decision support using structured electronic health records (EHR) has been an active research area for predicting risks of mortality and diseases. Meanwhile, large amounts of narrative clinical notes provide complementary information, but are often not integrated into predictive models. In this paper, we provide a novel multimodal transformer to fuse clinical notes and structured EHR data for better prediction of in-hospital mortality. To improve interpretability, we propose an integrated gradients (IG) method to select important words in clinical notes and discover the critical structured EHR features with Shapley values. These important words and clinical features are visualized to assist with interpretation of the prediction outcomes. We also investigate the significance of domain adaptive pretraining and task adaptive fine-tuning on the Clinical BERT, which is used to learn the representations of clinical notes. Experiments demonstrated that our model outperforms other methods (AUCPR: 0.538, AUCROC: 0.877, F1:0.490).

研究の動機と目的

• 非構造化の臨床ノートと構造化されたEHR時系列データを統合して院内死亡予測を進展させる。
• 予測の解釈性を語レベルおよび特徴量レベルの説明によって向上させる。
• Clinical BERTのドメイン適応事前学習とタスク適応微調整が予測性能に与える影響を評価する。

提案手法

• 前処理済みの臨床変数17個を時系列入力として処理する。
• 臨床ノートをMIMICデータで訓練された微調整済みClinical BERT (MBERT)モデルで埋め込む。
• ノートと時系列データを別々にエンコードする3-エンコーダのマルチモーダル融合を用い、それらをMultimodal Encoderを介して共通空間で結合する。
• ICU滞在期間全体の時間的依存性を捉えるためにTransformerを適用し、T0トークンをマルチモーダル表現として用いる。
• マルチモーダル表現をノート埋め込みと結合し、クロスエントロピー損失とL2正則化を用いたMLPで予測する。
• 死亡タスクに対してBERT系(BERT, BioBERT, BioRoBERTa, Clinical BERT)のドメイン適応事前学習とタスク適応微調整を検討する。

実験結果

リサーチクエスチョン

• RQ1 臨床ノートと構造化EHR時系列データをトランスフォーマーで死亡予測に効果的に融合するにはどうすればよいか？
• RQ2 臨床言語モデルのドメイン適応事前学習とタスク適応微調整はこのタスクの予測性能を向上させるか？
• RQ3 Integrated GradientsとShapley値はそれぞれノートトークンと構造化特徴量に有意義な解釈性を提供できるか？

主な発見

予測モデル	AUCPR	AUCROC	F1
変数のみ | LSTM	0.460(±0.013)	0.821(±0.006)	0.392(±0.038)
トランスフォーマー	0.473(±0.011)	0.827(±0.005)	0.406(±0.025)
ノートのみ | MBERT	0.482(±0.012)	0.851(±0.005)	0.382(±0.079)
融合 | MBERT+LSTM	0.508(±0.002)	0.859(±0.001)	0.478(±0.023)
マルチモーダル・トランスフォーマー（私たちのもの）	0.538(±0.004)	0.877(±0.001)	0.490(±0.036)

• マルチモーダル・トランスフォーマーは優れた性能を達成: AUCPR 0.538, AUCROC 0.877, F1 0.490。
• 比較対象手法は変数のみ、ノートのみ、または単純な融合戦略を用いた場合より改善を示す。
• ドメイン適応事前学習とタスク適応微調整（Clinical BERT系変種）は性能に顕著な影響を与え、タスク適応後にはClinical BERTベースのモデルが最良の性能を示した。
• Integrated Gradientsは症状や予後指標など臨床的に意味のあるノートトークンをハイライトし、Shapley値は構造化特徴の寄与度上位を特定する（例：Glasgow Coma Scale、呼吸・循環動態指標）。
• 提案されたアーキテクチャはTransformer注意機構による時刻情報対応の融合を可能にし、ICU滞在の全時点の情報を活用する。