[論文レビュー] Modeling Irregularly Sampled Clinical Time Series

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|Dec 3, 2018

Machine Learning in Healthcare参考文献 9被引用数 8

ひとこと要約

本論文は、最初に複数の時系列に対して欠損値を再構築する半パラメトリックな補間ネットワークを用い、その後で下流のタスク用の予測ネットワークを適用する、深層学習フレームワーク「補間予測ネットワーク」を提案する。この手法は、MIMIC-IIIにおける死亡リスク予測および滞在日数予測において、従来のモデル（GRUベースのベースライン含む）を上回る最先端の性能を達成した。

ABSTRACT

While the volume of electronic health records (EHR) data continues to grow, it remains rare for hospital systems to capture dense physiological data streams, even in the data-rich intensive care unit setting. Instead, typical EHR records consist of sparse and irregularly observed multivariate time series, which are well understood to present particularly challenging problems for machine learning methods. In this paper, we present a new deep learning architecture for addressing this problem based on the use of a semi-parametric interpolation network followed by the application of a prediction network. The interpolation network allows for information to be shared across multiple dimensions during the interpolation stage, while any standard deep learning model can be used for the prediction network. We investigate the performance of this architecture on the problems of mortality and length of stay prediction.

研究の動機と目的

• 電子歴史記録（EHR）から得られるスパarselyサンプリングされた多変量臨床時系列データに対して、教師あり機械学習モデルを訓練する課題に対処すること。
• 固定サイズかつ完全に観測された入力を仮定する標準的なモデルの制限を克服し、不規則なデータ上でエンドツーエンド学習を可能にすること。
• 補間と予測を分離するモジュラーなアーキテクチャを構築し、解釈性と性能を向上させること。
• 複数の時間スケール表現を用いて、一時的変動および観測頻度パターンを明示的にモデル化すること。
• 実世界のEHRデータを用いた臨床予測タスクにおいて、従来の深層学習および従来の機械学習ベースラインを上回ること。

提案手法

• モデルは2層の半パラメトリック補間ネットワークを用いる：1層目は、学習された帯域幅を用いて各時系列ごとに径数基底関数に基づく単変量補間を実行する。
• 2層目は、学習された相関係数を用いてすべての時系列間の情報を統合し、補間中に系列間の情報共有を可能にする。
• 補間ネットワークは、滑らかな信号、一時的成分、観測頻度関数という3つの異なる表現を出力し、それぞれが異なる時間的ダイナミクスを捉える。
• これらの表現は連結され、下流の分類または回帰タスク用の標準的な深層学習予測ネットワーク（例：全結合層またはRNN）に供給される。
• 補間と予測の両方の最適化を可能にするために、教師ありおよび教師なしの成分を組み合わせた複合損失関数を用いて、エンドツーエンドで全アーキテクチャを訓練する。
• ガウス過程の計算的・構造的制約を回避しつつ、柔軟性と表現力の両方を維持する補間メカニズムを採用している。

実験結果

リサーチクエスチョン

• RQ1 半パラメトリックな補間ネットワークは、臨床予測のためのスパースかつ不規則にサンプリングされた多変量時系列を効果的に再構築できるか？
• RQ2 一時的変動および観測頻度を別々にモデル化することで、標準的な補完手法と比較して予測性能が向上するか？
• RQ3 エンドツーエンドで訓練された補間予測ネットワークは、死亡リスクおよび滞在日数予測において、既存の深層学習ベースラインを上回るか？
• RQ4 補間と予測のモジュラー設計は、不規則なEHRデータにおける性能と一般化能力にどのように影響するか？
• RQ5 提案手法は、MIMIC-IIIのような実世界の臨床データセットにおけるクラス不均衡および高スパarsityに耐性を示すか？

主な発見

• 死亡リスク予測において、AUCスコアが0.853 ± 0.007と最高を記録し、次に良いベースライン（GRU-D：0.835 ± 0.013）を有意に上回った（p < 0.01）。
• AUPRC指標において、0.418 ± 0.022を達成し、最高のベースライン（GRU-S：0.376 ± 0.014）を顕著に上回り、不均衡データにおける優れた性能を示した。
• 滞在日数予測において、中央絶対誤差が2.862 ± 0.166日と最低を記録し、GRU-D（2.891 ± 0.103）および他のベースラインを上回った。
• 説明される分散（EV）スコアは0.245 ± 0.019と最高を記録し、回帰タスクにおけるデータ分散の捉え具合が優れていた。
• 対応t検定により、中央絶対誤差を除き、すべての指標で改善が統計的に有意（p < 0.01）であることが確認された。
• アブレーションスタディにより、補間出力の3つの要素（滑らかな信号、一時的成分、観測頻度）すべてが最終的な性能に寄与していることが確認され、マルチチャネル分解設計の有効性が裏付けられた。