[論文レビュー] Multi-view Integration Learning for Irregularly-sampled Clinical Time Series

Yurim Lee, Eunji Jun+1 more|arXiv (Cornell University)|Jan 25, 2021

Machine Learning in Healthcare参考文献 22被引用数 4

ひとこと要約

本稿では、データ補完を伴わずに自己注意機構を用いた多視点統合学習フレームワークを、不規則にサンプリングされた臨床時系列データに提案する。自己注意に基づくMulti-integration Attention Module (MIAM)を導入し、観測値、欠損インジケータ、および連続観測間の時間間隔を統合的にモデル化する。訓練段階でのみ注意に基づくデコーダーを補助的補完器として用いることで表現学習を強化し、MIMIC-IIIおよびPhysioNet 2012における入院内死亡予測で最先端の性能を達成した。

ABSTRACT

Electronic health record (EHR) data is sparse and irregular as it is recorded at irregular time intervals, and different clinical variables are measured at each observation point. In this work, we propose a multi-view features integration learning from irregular multivariate time series data by self-attention mechanism in an imputation-free manner. Specifically, we devise a novel multi-integration attention module (MIAM) to extract complex information inherent in irregular time series data. In particular, we explicitly learn the relationships among the observed values, missing indicators, and time interval between the consecutive observations, simultaneously. The rationale behind our approach is the use of human knowledge such as what to measure and when to measure in different situations, which are indirectly represented in the data. In addition, we build an attention-based decoder as a missing value imputer that helps empower the representation learning of the inter-relations among multi-view observations for the prediction task, which operates at the training phase only. We validated the effectiveness of our method over the public MIMIC-III and PhysioNet challenge 2012 datasets by comparing with and outperforming the state-of-the-art methods for in-hospital mortality prediction.

研究の動機と目的

• 観測が疎で時系列的にずれている多次元臨床時系列データから効果的な表現を学ぶという課題に対処すること。
• 臨床的測定値とともに、特に欠損インジケータと観測間隔という情報をもつ欠損パターンを、統一された表現空間でモデル化すること。
• 訓練時のみに注意に基づくデコーダーを補助的補完器として用いることで、明示的な補完を避け、データ漏洩やノイズを回避する補完フリーな深層学習フレームワークを構築すること。
• MIMIC-IIIやPhysioNet 2012などの実世界のEHRデータセットにおいて、既存の最先端手法を上回る入院内死亡予測性能を達成すること。

提案手法

• 観測値、欠損インジケータ、および連続観測間の時間間隔の関係を明示的にモデル化するMulti-integration Attention Module (MIAM)を導入する。
• 自己注意機構を用いて、すべての時系列ポイントを同時に注目することで、不規則時系列における複雑で長距離の依存関係を学習し、並列処理とグローバルな文脈モデリングを可能にする。
• 訓練段階でのみ作用する注意に基づくデコーダーを構築し、補助的補完器として機能させ、多視点観測間の関係性の表現を強化する。
• 生の観測値 (X)、欠損インジケータ (M)、時間間隔 (Δ) を組み合わせた多視点入力形式を採用し、MIAMでこれらを統合的に処理して統合表現を学習する。
• 標準的な正弦波符号化に代わり、不規則な時間間隔に適応した位置符号化を採用し、臨床データの時間的ダイナミクスをよりよく反映する。
• 死亡予測のための交差エントロピー損失を用いて、モデルをエンドツーエンドに訓練する。補助的補完器は訓練時のみ有効にし、推論時におけるデータ漏洩を回避する。

実験結果

リサーチクエスチョン

• RQ1 観測値、欠損インジケータ、時間間隔を統合的にモデル化することで、不規則にサンプリングされた臨床時系列における表現学習が向上するか？
• RQ2 訓練段階でのみ作用する注意に基づく補完器は、推論時における明示的補完なしに予測性能を向上させるか？
• RQ3 X, M, Δ の3つの視点を統合することと、単一または二重視点モデルとを比較した場合、予測精度にどのような差が生じるか？
• RQ4 本稿で提案する補完フリーなフレームワークは、明示的補完や時間的離散化に依存する最先端手法をどの程度上回るか？

主な発見

• 提案手法は、MIMIC-IIIでAUC 0.8534 ± 0.0071、PhysioNet 2012でAUC 0.8231 ± 0.0221を達成し、入院内死亡予測において既存の最先端手法を上回った。
• 観測値 (X)、欠損インジケータ (M)、時間間隔 (Δ) の3視点をMIAMに統合した結果、最高の性能が得られ、多視点統合の有効性が確認された。
• アブレーションスタディの結果、補完器を導入した場合、補完器なしのベースラインに比べて性能が向上し、MIMIC-IIIではAUCが0.8373から0.8534に、PhysioNetでは0.8137から0.8231に上昇した。
• 補助的補完器を訓練時のみに使用した場合でも、BRITSのような明示的補完を用いる手法と同等の性能が達成された。これは、推論時における明示的補完が必ずしも必要ではないことを示している。
• X + M + Δ の3視点統合モデルは、両データセットにおいて、単一視点 (Xのみ) や二重視点 (X+M や X+Δ) の構成を上回った。
• 情報的な欠損パターンを明示的にモデル化することで、不規則なEHRデータにおける表現学習と予測性能の両方が向上することが実証された。