[論文レビュー] Interpolation-Prediction Networks for Irregularly Sampled Time Series

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|Sep 13, 2019

Time Series Analysis and Forecasting被引用数 30

ひとこと要約

本稿では、希少かつ不規則にサンプリングされた多次元時系列データに対する教師あり学習のための深層学習フレームワーク「補間予測ネットワーク」を提案する。この手法は、広範なトレンド、一時的な変動、観測頻度を同時にモデル化する半パラメトリック補間ネットワークを用い、その後にGRUベースの予測ネットワークを接続することで、MIMIC-IIIデータセットにおいて死亡予測分類および滞在期間予測回帰の両タスクで、既存手法と比較して統計的に有意な向上を達成し、最先端の性能を発揮した。

ABSTRACT

In this paper, we present a new deep learning architecture for addressing the problem of supervised learning with sparse and irregularly sampled multivariate time series. The architecture is based on the use of a semi-parametric interpolation network followed by the application of a prediction network. The interpolation network allows for information to be shared across multiple dimensions of a multivariate time series during the interpolation stage, while any standard deep learning model can be used for the prediction network. This work is motivated by the analysis of physiological time series data in electronic health records, which are sparse, irregularly sampled, and multivariate. We investigate the performance of this architecture on both classification and regression tasks, showing that our approach outperforms a range of baseline and recently proposed models.

研究の動機と目的

• 電子歴史記録（EHR）に一般的に見られる希少かつ不規則にサンプリングされた多次元時系列データに対する教師あり学習の課題に対処すること。
• ガウス過程ベースの補間における計算複雑性を回避しつつ、時系列の次元間で情報を保持するモジュラーな深層学習アーキテクチャの開発。
• 半パラメトリック補間ネットワークを用いて、広範なトレンド、短期的な一時的変動、観測頻度という複数の時間スケールを明示的にモデル化すること。
• 実世界のEHRデータセットにおける分類および回帰タスクにおいて、既存の最先端モデルを上回る性能を発揮すること。

提案手法

• 多変量時系列をモデル化するためのフィードフォワード層を備えた半パラメトリック補間ネットワークを採用し、補間プロセス中に入力チャネル間での情報共有を可能にした。
• 補間ネットワークは、各入力に対して3つの異なる出力時系列を生成する：滑らかな補間（広範なトレンド）、一時的変動の補間（短時間のイベント）、観測頻度を表す強度関数。
• 強度関数は、点過程モデリングにインspiredされた、半パラメトリックで非パラメトリックな観測時刻の表現を用いてモデル化された。
• これらの出力は、下流の分類および回帰タスク用にGRUベースの予測ネットワークに供給された。
• 全体のモデルは、教師あり損失と非教師あり損失を組み合わせた複合目的関数を用いて、エンド・ツー・エンドで訓練された。
• 補間ネットワークは、ガウス過程が要求する正定値共分散行列の制約を回避しており、これによりより高速かつスケーラブルな訓練が可能になった。

実験結果

リサーチクエスチョン

• RQ1 モジュラーかつエンド・ツー・エンドの深層学習フレームワークは、希少かつ不規則にサンプリングされた多次元時系列データからの学習において、既存手法を上回ることができるか？
• RQ2 広範なトレンド、一時的変動、観測頻度に明示的に分解することで、予測性能がどのように向上するか？
• RQ3 分類および回帰タスクにおけるモデル性能に、個々の情報チャネル（滑らかな補間、一時的変動、強度関数）がどの程度寄与しているか？
• RQ4 提案された補間ネットワークは、計算効率を維持しつつ、ガウス過程ベースのベースラインを上回る性能を達成できるか？
• RQ5 本モデルは、死亡予測や滞在期間予測といった異なるEHRベースのタスクに一般化可能か？

主な発見

• MIMIC-IIIの死亡予測分類タスクにおいて、AUC（0.853 ± 0.007）とAUPRC（0.418 ± 0.022）の両方で最高を記録し、すべてのベースラインと比較して有意に優れていた（p < 0.01）。
• 滞在期間予測回帰タスクでは、中央絶対誤差が最小（2.862 ± 0.166日）かつ決定係数が最大（0.245 ± 0.019）を達成し、すべてのベースラインと比較して統計的に有意な改善を示した。
• アブレーションスタディの結果、一時的変動および強度関数の出力を使用するだけで、回帰性能がさらに向上したことが示され、これらのコンポonentがタスクに最も寄与していることが示唆された。
• ガウス過程アダプタ（Li & Marlin, 2016）と比較して、学習時間で50倍の高速化を達成しながら、性能は同等またはそれを上回った。
• Harutyunyan et al. (2017) が提示したベンチマークでも、本モデルは既存のアプローチを再び上回り、異なるデータコhort間での一般化能力を確認した。