[論文レビュー] Multi-Time Attention Networks for Irregularly Sampled Time Series

Satya Narayan Shukla, Benjamin M. Marlin|PubMed|Jan 25, 2021

Machine Learning in Healthcare参考文献 35被引用数 23

ひとこと要約

本稿では、連続時間埋め込みを学習し、可学習なアテンション機構を用いて時間的類似度を計算することで、多次元的でスパースかつ不規則にサンプリングされた時系列データをモデル化するための深層学習フレームワーク、Multi-Time Attention Networks (mTANs) を提案する。本手法は、補間および分類タスクにおいて最先端またはそれ以上の性能を達成するとともに、ODEベースのベースラインと比較して100倍以上高速に学習が可能である。

ABSTRACT

Irregular sampling occurs in many time series modeling applications where it presents a significant challenge to standard deep learning models. This work is motivated by the analysis of physiological time series data in electronic health records, which are sparse, irregularly sampled, and multivariate. In this paper, we propose a new deep learning framework for this setting that we call <i>Multi-Time Attention Networks</i>. Multi-Time Attention Networks learn an embedding of continuous time values and use an attention mechanism to produce a fixed-length representation of a time series containing a variable number of observations. We investigate the performance of this framework on interpolation and classification tasks using multiple datasets. Our results show that the proposed approach performs as well or better than a range of baseline and recently proposed models while offering significantly faster training times than current state-of-the-art methods.

研究の動機と目的

• 標準的な深層学習モデルが欠損またはずれた観測により失敗する医療分野やその他の分野における、多次元的でスパースかつ不規則にサンプリングされた時系列データのモデル化という課題に対処すること。
• 固定された類似度カーネルに代わる可学習なアテンション機構を備えた、柔軟で連続時間の深層学習フレームワークを構築することにより、時間的表現学習を向上させること。
• 不規則な時系列データにおける補間および分類タスクをサポートする、変分オートエンコーダ（VAE）フレームワークを用いたエンドツーエンド学習を可能にすること。
• 既存の最先端のODEベースのモデルと比較して、性能を維持または向上させつつ、学習時間を顕著に短縮すること。
• 局所的な時系列構造を捉えるために、時間的に分散された潜在表現と可学習な時間埋め込みの有効性を実証すること。

提案手法

• mTANフレームワークは、参照時刻点をクエリとし、観測時刻点をキーとするクエリ・キー型アテンション機構を用い、動的時間的アテンション重みを計算する。
• 固定された位置エンコーディングに代わる、可学習な連続時間埋め込み層を採用し、データ駆動型の時間的表現を可能にする。
• VAE目的関数を用いたエンコーダ・デコーダアーキテクチャを採用：エンコーダは不規則な時系列を参照点上の固定長の潜在表現にマップし、デコーダは元の系列を再構築する。
• アテンション機構により、固定カーネル（例：RBF）に代わる、学習中にデータ駆動型の類似度関数を微分可能に学習する。
• 時間の連続的取り扱いと、データから類似度を学習することで、変数間の部分的観測の整合性を実現し、固定間隔を仮定するのではなく、より柔軟なアプローチを可能にする。
• 変分推論を用いた確率的勾配降下法により最適化され、時間埋め込みおよびアテンションパラメータのエンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 連続時間点における可学習なアテンション機構は、固定カーネルと比較して、不規則にサンプリングされた多次元時系列データのモデリングを改善できるか？
• RQ2 データから時間埋め込みと時間的類似度を学習することは、固定エンコーディングと比較して、補間および分類タスクの性能を向上させるか？
• RQ3 mTANフレームワークは、ODEベースのモデルと比較して、最先端の性能を達成するとともに、学習時間を顕著に短縮できるか？
• RQ4 時間的に分散された潜在表現の使用は、局所的な時系列構造を捉えるためにどれほど有効か？
• RQ5 mTANアーキテクチャは、PhysioNet、MIMIC-III、Human Activity といった多様なデータセットに一般化できるか？

主な発見

• mTAND-Fullモデルは、PhysioNetデータセットにおいてAUC 0.858 ± 0.004を達成し、すべてのRNNベースのベースラインを上回り、ODEベースのモデルと同等またはそれを上回った。
• MIMIC-IIIの死亡予測タスクにおいて、mTAND-FullはAUC 0.8544 ± 0.0024を達成し、最良のODEベースのモデル（例：L-ODE-ODE）と同等の性能を示したが、学習がはるかに高速であった。
• mTAND-Fullモデルは1エポックあたりたった0.2分で学習が完了し、L-ODE-ODE（1エポック22.0分）の100倍以上、ODE-RNN（1エポック16.5分）の85倍以上高速であった。
• アブレーションスタディの結果、可学習な時間埋め込みは、固定された位置エンコーディングと比較して分類精度を最大1.5%向上させた。
• 可学習なアテンションカーネルを備えたモデルは、固定されたRBFカーネルを上回り、データ駆動型類似度学習の利点を示した。
• Human Activityデータセットでは、mTAND-Fullが0.910 ± 0.002の精度を達成し、すべてのRNNおよびIP-Netベースラインを顕著に上回った。