[論文レビュー] How to Leverage Multimodal EHR Data for Better Medical Predictions?

Bo Yang, Lijun Wu|arXiv (Cornell University)|Oct 29, 2021

Machine Learning in Healthcare参考文献 27被引用数 6

ひとこと要約

本論文は、構造化されたEHRデータ、検査所見、および非構造化臨床ノートを統合するマルチモーダル融合フレームワークを提案し、医療予測の性能を向上させることを目的としている。多様なデータタイプを統合する深層学習の活用により、臨床ノートを含まない最先端のモデルと比較して優れた性能を達成しており、テキスト形式の臨床ノートが予測医療タスクにおいて重要な価値を有することを示している。

ABSTRACT

Healthcare is becoming a more and more important research topic recently. With the growing data in the healthcare domain, it offers a great opportunity for deep learning to improve the quality of medical service. However, the complexity of electronic health records (EHR) data is a challenge for the application of deep learning. Specifically, the data produced in the hospital admissions are monitored by the EHR system, which includes structured data like daily body temperature, and unstructured data like free text and laboratory measurements. Although there are some preprocessing frameworks proposed for specific EHR data, the clinical notes that contain significant clinical value are beyond the realm of their consideration. Besides, whether these different data from various views are all beneficial to the medical tasks and how to best utilize these data remain unclear. Therefore, in this paper, we first extract the accompanying clinical notes from EHR and propose a method to integrate these data, we also comprehensively study the different models and the data leverage methods for better medical task prediction. The results on two medical prediction tasks show that our fused model with different data outperforms the state-of-the-art method that without clinical notes, which illustrates the importance of our fusion method and the value of clinical note features. Our code is available at https: //github.com/emnlp-mimic/mimic.

研究の動機と目的

• 構造的、検査所見、および非構造化臨床ノートという異種EHRデータタイプを統一された予測フレームワークに統合する課題に対処すること。
• 過去のEHR前処理で軽視されがちな臨床ノートが、医療予測にどのように寄与するかを検証すること。
• 多様なEHRデータソースを統合するマルチモーダル深層学習モデルを構築し、臨床予測タスクにおける性能を向上させること。

提案手法

• 本手法はMIMIC-III EHRデータから臨床ノートを抽出し、意味的意味を捉えるために深層ニューラルネットワークを用いて符号化する。
• 構造化データ、検査結果、および臨床ノートの埋め込み表現を統合するマルチモーダル融合アーキテクチャを採用する。
• 予測プロセス中に異なるデータモダリティの重要性を動的に重みづけするためにアテンションメカニズムを用いる。
• 最終予測ヘッドの入力として、モダリティ固有の表現を連結するラテント・フェージョン戦略を適用する。
• 本フレームワークは、院内死亡予測および滞在期間予測という2つの臨床予測タスクに対して、エンドツーエンドで訓練される。
• 本手法はMIMIC-IIIデータセットを用いて検証され、再現可能性を確保するためコードが公開されている。

実験結果

リサーチクエスチョン

• RQ1 構造化データおよび検査所見と統合された非構造化臨床ノートは、EHRにおいて医療予測を顕著に向上させるか？
• RQ2 構造的、検査所見、テキストという異なるデータモダリティが、個別および統合的に予測性能にどのように寄与するか？
• RQ3 臨床タスクにおける予測精度を最大化するために、マルチモーダルEHRデータを最適に統合する方法は何か？

主な発見

• 提案されたマルチモーダル統合モデルは、臨床ノートを含まない最先端のモデルと比較して、院内死亡予測および滞在期間予測の両タスクで優れた性能を示した。
• 臨床ノートの統合によりAUCが明確に向上し、過去の手法であまり活用されていなかったにもかかわらず、その予測価値が顕著に示された。
• 構造的データ、検査所見、および臨床ノートという3つのデータモダリティを統合したモデルが最高の性能を達成しており、マルチモーダル統合の利点を裏付けた。
• アテンションメカニズムにより、異なるモダリティ間で最も情報量の多い特徴を効果的に特定・重みづけし、モデルの解釈可能性と頑健性が向上した。
• アブレーションスタディの結果、臨床ノートを除外すると性能が著しく低下することが確認され、ノートが予測において重要な役割を果たしていることが強力に示された。