[論文レビュー] Multi-resolution Networks For Flexible Irregular Time Series Modeling (Multi-FIT)

Bhanu Pratap Singh, Iman Deznabi+5 more|arXiv (Cornell University)|Apr 30, 2019

Machine Learning in Healthcare参考文献 19被引用数 4

ひとこと要約

本稿では、欠損データを補完するのではなく、タスク固有の表現を学習することで、不規則な時系列データを柔軟にモデル化できる多スケールニューラルネットワーク、Multi-FITを提案する。時間間隔と信号統計をメモリセルで符号化し、サポート信号（FIT-V）を介して特徴間相関を活用し、高速・低速信号を並列処理することで、PhysioNetにおける患者生存予測でFスコア0.681を達成し、最先端の性能を実現した。

ABSTRACT

Missing values, irregularly collected samples, and multi-resolution signals commonly occur in multivariate time series data, making predictive tasks difficult. These challenges are especially prevalent in the healthcare domain, where patients' vital signs and electronic records are collected at different frequencies and have occasionally missing information due to the imperfections in equipment or patient circumstances. Researchers have handled each of these issues differently, often handling missing data through mean value imputation and then using sequence models over the multivariate signals while ignoring the different resolution of signals. We propose a unified model named Multi-resolution Flexible Irregular Time series Network (Multi-FIT). The building block for Multi-FIT is the FIT network. The FIT network creates an informative dense representation at each time step using signal information such as last observed value, time difference since the last observed time stamp and overall mean for the signal. Vertical FIT (FIT-V) is a variant of FIT which also models the relationship between different temporal signals while creating the informative dense representations for the signal. The multi-FIT model uses multiple FIT networks for sets of signals with different resolutions, further facilitating the construction of flexible representations. Our model has three main contributions: a.) it does not impute values but rather creates informative representations to provide flexibility to the model for creating task-specific representations b.) it models the relationship between different signals in the form of support signals c.) it models different resolutions in parallel before merging them for the final prediction task. The FIT, FIT-V and Multi-FIT networks improve upon the state-of-the-art models for three predictive tasks, including the forecasting of patient survival.

研究の動機と目的

• 医療やセンサデータに共通する、多変量時系列における不規則なサンプリング、欠損データ、信号周波数のばらつきという課題に対処すること。
• 補完に依存する既存モデルや、すべての信号を均一に扱うモデルの限界を克服し、時間的パターンを歪めたり予測精度を低下させたりするのを防ぐこと。
• 信号の固有の不規則性と解像度の違いを保持しつつ、効果的なシーケンスモデリングを可能にする統合的フレームワークを構築すること。
• 特徴間相関を活用して、観測回数が少ない状況でも欠損値の表現学習を向上させること。
• 特に高い欠損率と多スケール信号を有する実世界のデータセットにおいて、優れた性能を示すこと、特にICUデータからの患者生存予測の分野で実証すること。

提案手法

• 各信号について、前回観測からの経過時間、信号平均、最後に観測された値を符号化するための完全結合ネットワークを備えたメモリセルを用いるFITネットワークを導入する。
• 補完値を生成せずに、欠損時間ステップのための情報豊富な表現を生成することで、時間的ダイナミクスを保持し、強制的な補完によるノイズを低減する。
• 関連する「サポート」信号を組み込むFIT-Vという変種を提案し、欠損値の表現学習を向上させ、特徴間依存性のモデリングを強化する。
• Multi-FITでは、高速信号と低速信号を並列に処理する。それぞれ別々のFITコンポーネントを用いて符号化し、その後連結する。
• 統合表現に共通のシーケンスモデル（例：LSTM）を適用し、下流分類タスクに活用することで、解像度レベル間での統合学習を可能にする。
• 補完を完全に必要とせずに、相関に基づく特徴選択を用いて、各ターゲット信号ごとに2つの強力なサポート信号を特定し、補完品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 補完に依存せず、不規則なサンプリング、欠損データ、変動する信号周波数を有する多変量時系列を効果的に扱える深層学習モデルは存在するか？
• RQ2 サポート信号を通じて特徴間相関を活用することで、時系列における欠損値の表現学習はどのように向上するか？
• RQ3 異なる解像度の信号を並列に処理することは、多スケール時系列において、標準的なシーケンスモデルに比べてより優れた予測性能をもたらすか？
• RQ4 実世界のICUデータで見られる高い欠損率と多様なサンプリングパターン下でも、モデルの性能はどの程度維持されるか？
• RQ5 提案されたアーキテクチャは、複雑な実世界データセットにおける生存予測タスクで、GRU-D や TBM といった最先端モデルを上回る性能を示せるか？

主な発見

• Multi-FIT-Vは、PhysioNetデータセットにおける患者生存予測で、Fスコア0.681を達成し、GRU-D（0.674）およびTBM（0.659）を上回った。
• 一部の特徴で最大84％の欠損率が見られたが、モデルは高い予測性能を維持し、高い耐性を示した。
• FIT-Vは、各信号ごとに2つの高い相関を持つサポート特徴を活用することで、標準FIT（Fスコア0.666）を上回り、PhysioNetにおけるFスコアを0.666から0.676に向上させた。
• Multi-FITはベースラインのBA-meanモデル（Fスコア0.656）を上回り、PhysioNetデータセットにおいてGRU-Dよりも優れた結果を達成した。これは、多スケールデータに対する有効性を裏付けた。
• 特に観測回数が少ない状況では、遅い信号を毎時刻に補完しないことで、シーケンス長が短縮され、表現品質が向上した。
• 実験により、不規則さや欠損率の異なるデータセットにおいてもモデルの性能が安定しており、柔軟性と一般化能力の高さが確認された。