[論文レビュー] Improving Medical Predictions by Irregular Multimodal Electronic Health Records Modeling

Xinlu Zhang, Shiyang Li+3 more|arXiv (Cornell University)|Oct 18, 2022

Machine Learning in Healthcare被引用数 5

ひとこと要約

本稿では、集中治療科の不規則なマルチモodal電子的健康記録（EHR）を統一的なフレームワークでモデル化する手法を提案する。時間系列データに対してゲーティング機構を、臨床ノートに対して時間に依存するアテンション機構を適用し、その後にインターリーブ型のマルチモーダル統合を実施する。この手法は、時間系列、臨床ノート、マルチモーダル統合の各タスクにおいて、相対的F1スコアで6.5%、3.6%、4.3%の向上を達成し、最先端の性能を示した。

ABSTRACT

Health conditions among patients in intensive care units (ICUs) are monitored via electronic health records (EHRs), composed of numerical time series and lengthy clinical note sequences, both taken at irregular time intervals. Dealing with such irregularity in every modality, and integrating irregularity into multimodal representations to improve medical predictions, is a challenging problem. Our method first addresses irregularity in each single modality by (1) modeling irregular time series by dynamically incorporating hand-crafted imputation embeddings into learned interpolation embeddings via a gating mechanism, and (2) casting a series of clinical note representations as multivariate irregular time series and tackling irregularity via a time attention mechanism. We further integrate irregularity in multimodal fusion with an interleaved attention mechanism across temporal steps. To the best of our knowledge, this is the first work to thoroughly model irregularity in multimodalities for improving medical predictions. Our proposed methods for two medical prediction tasks consistently outperforms state-of-the-art (SOTA) baselines in each single modality and multimodal fusion scenarios. Specifically, we observe relative improvements of 6.5\%, 3.6\%, and 4.3\% in F1 for time series, clinical notes, and multimodal fusion, respectively. These results demonstrate the effectiveness of our methods and the importance of considering irregularity in multimodal EHRs.

研究の動機と目的

• 集中治療科のEHRにおける多次元時間系列と臨床ノートの不規則なサンプリングの課題に対処すること。
• 複数モodalの不規則な時間的パターンを統一的なマルチモーダル表現に統合し、医療予測の精度を向上させること。
• 既存手法が臨床ノートの不規則性やマルチモーダル統合における不規則性を無視するという限界を克服すること。
• すべてのモダリティで同時に不規則性をモデル化する統一されたシステムを開発し、予測のロバスト性と正確性を向上させること。
• ゲーティング機構による複数の時間系列埋め込み手法の動的統合が、優れた性能をもたらすことを実証すること。

提案手法

• 不規則な時間系列のための新規ゲーティング機構UTDEを提案。手作業による補完埋め込みと学習済み補間埋め込みを動的に統合する。
• 臨床ノートは事前学習済み言語モデルで埋め込み処理し、多次元不規則時間系列とみなす。時間に依存するアテンション機構（mTAND）を用いてノート表現内の不規則な時間的パターンをモデル化する。
• 時間ステップに沿ったインターリーブ型自己およびクロスアテンション層を用いたマルチモーダル統合戦略により、不規則な時間構造を保持したまま表現を統合する。
• UTDE内では、異なるTDE手法（例：補完と学習済み補間）を補完的サブモジュールとして活用し、ゲート機構が患者ごとに最適な統合重みを学習する。
• モデルはMIMIC-IIIデータ上で、死亡予測および表現型予測タスクを対象にエンドツーエンドで学習する。
• ロバストネスと一般化性能を評価するため、複数のバックボーン（LSTM、CNN）と入力シーケンス長を用いて評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 統一フレームワークは、マルチモーダルEHRにおける多次元時間系列と臨床ノートの両方の不規則性を効果的にモデル化できるか？
• RQ2 ゲーティング機構による複数の時間系列埋め込み手法の動的統合は、単一手法を用いる場合に比べて予測性能を向上させるか？
• RQ3 単なる連結処理を越えて、臨床ノートの不規則性をモデル化することで、マルチモーダル予測精度はどの程度向上するか？
• RQ4 マルチモーダル統合における時間ステップに沿ったインターリーブ型アテンションは、不規則な時間パターンの統合をどのように改善するか？
• RQ5 提案手法は、時間系列エンコーダーや臨床ノートの入力シーケンス長が異なる状況でもロバストであるか？

主な発見

• 提案されたUTDEモジュールは、時間系列予測タスクで最良のベースライン比で相対的F1スコア6.5%の向上を達成した。
• mTANDを用いた時間に依存するアテンション機構は、時間的不規則性を無視するベースラインと比較して、臨床ノート予測でF1スコア3.6%向上した。
• UTDEとmTANDを組み合わせたマルチモーダル統合モデルは、F1スコアで相対的4.3%の向上を示し、複数モダリティにおける不規則性のモデル化の利点を裏付けた。
• アブレーションスタディの結果、UTDEまたはmTANDを削除すると顕著な性能低下が生じ、両モダリティにおける不規則性のモデル化の必要性が検証された。
• LSTMやCNNといった異なる時間系列エンコーダーにおいても、本モデルは一貫してベースラインを上回り、一般化性とロバストネスを示した。
• 臨床ノートの最大入力シーケンス長を延長することで、すべての指標で性能向上が見られた。これは、マルチモーダル統合における長文脈モデリングの価値を示唆している。