[論文レビュー] Modelling EHR timeseries by restricting feature interaction

Kun Zhang, Yuan Xue+4 more|arXiv (Cornell University)|Nov 14, 2019

Machine Learning in Healthcare参考文献 13被引用数 6

ひとこと要約

この論文では、過学習を軽減するために特徴量間の相互作用を制限することで、電子歴史記録（EHR）時系列データをモデル化するための特徴量グループ化長短期記憶（FG-LSTM）ネットワークを提案する。各臨床的特徴量を標準化値、欠損インジケータ、および直近の測定からの経過時間として扱うことで、MIMIC-IIIで死亡予測、急性腎障害（AKI）、ICD-9コード化の予測性能が向上し、最先端手法よりも死亡予測で1.1%（p<0.01）、AKIとICD-9コード化で1.0–2.2%（p<0.01）の向上を達成した。

ABSTRACT

Time series data are prevalent in electronic health records, mostly in the form of physiological parameters such as vital signs and lab tests. The patterns of these values may be significant indicators of patients' clinical states and there might be patterns that are unknown to clinicians but are highly predictive of some outcomes. Many of these values are also missing which makes it difficult to apply existing methods like decision trees. We propose a recurrent neural network model that reduces overfitting to noisy observations by limiting interactions between features. We analyze its performance on mortality, ICD-9 and AKI prediction from observational values on the Medical Information Mart for Intensive Care III (MIMIC-III) dataset. Our models result in an improvement of 1.1% [p&lt;0.01] in AU-ROC for mortality prediction under the MetaVision subset and 1.0% and 2.2% [p&lt;0.01] respectively for mortality and AKI under the full MIMIC-III dataset compared to existing state-of-the-art interpolation, embedding and decay-based recurrent models.

研究の動機と目的

• ノイジーで欠損のあるEHR時系列データに適用されたディープラーニングモデルにおける過学習を緩和すること。
• 従来のバケット化手法で失われる、急速な傾向変化や欠損パターンといった臨床的に重要な時間的パターンを保持すること。
• 生の集約されていないEHR時系列データを用いて、死亡、AKI、ICD-9コード化といった臨床的アウトカムの予測性能を向上させること。
• 各特徴量ごとに表現力のある時間的モデリングを維持しながら、特徴量間の相互作用を制限する再帰的モデルを開発すること。
• 特徴量間の相互作用を制限することで、EHR時系列モデリングにおける一般化性能とロバストネスが向上することを示すこと。

提案手法

• 各臨床的特徴量は、標準化値（欠損時は補間）、バイナリーデータの欠損インジケータ、および任意の直近の観測からの経過時間という変数のグループとして表現される。
• FG-LSTMは、各特徴量グループ内でのみ相互作用を許容し、特徴量間の相互作用を防止する制約付き重み行列を用いる。
• 重み行列に特徴量固有のマスク（M_wおよびM_u）を乗算することで、グループ単位の制約を強制する、修正されたLSTM式を採用する。
• 時間差は0〜1の範囲に正規化され、時間的減衰とギャップをモデルに組み込むために入力として使用される。
• すべての特徴量グループを1つのRNNで処理し、共有された隠れ状態を用いることで、計算効率を確保しながら特徴量の分離を維持する。
• 欠損値の補間は線形かつ時間に依存し、将来の値も欠損の場合には前方補完が適用される。

実験結果

リサーチクエスチョン

• RQ1 RNNにおける特徴量間の相互作用を制限することで、EHR時系列モデリングにおける一般化性能と過学習の軽減が図れるか？
• RQ2 直近の測定からの経過時間と欠損インジケータを保持することで、臨床的アウトカムの予測性能が向上するか？
• RQ3 死亡およびAKI予測において、FG-LSTMは最先端の補間、埋め込み、減衰ベースのRNNモデルと比較してどうなるか？
• RQ4 欠損の時間的パターンや値の急激な変化が、予測力にどの程度寄与するか？
• RQ5 独立して処理しながらも、同時に特徴量を扱うモデルが、臨床的に意味のある時間的ダイナミクスを捉えることができるか？

主な発見

• MetaVisionサブセットにおいて、FG-LSTMは死亡予測のAU-ROCで最先端手法よりも1.1%の絶対的向上を示した（p<0.01）。
• MIMIC-IIIの全データセットにおいて、死亡予測のAU-ROCは1.0%向上した（p<0.01）。
• AKI予測において、FG-LSTMは既存手法よりもAU-ROCで2.2%向上した（p<0.01）。
• すべての評価タスクおよびデータセットにおいて、ベースラインの補間、埋め込み、減衰ベースのRNNよりも優れた性能を示した。
• 制約付きアーキテクチャにより、短いタイムステップ内で特徴量間の誤った相関が防止され、過学習が軽減された。
• 結果から、特徴量間の相互作用を制限することで、ノイジーで欠損のあるEHRデータにおけるモデルのロバストネスと予測精度が向上することが示された。