[論文レビュー] Learning from Irregularly-Sampled Time Series: A Missing Data Perspective

Steven Cheng-Xian Li, Benjamin M. Marlin|arXiv (Cornell University)|Aug 17, 2020

Machine Learning in Healthcare被引用数 21

ひとこと要約

本稿では、不規則にサンプリングされた多次元時系列データを欠損データ問題としてモデル化することで、不規則にサンプリングされた時系列からの学習を可能にする新規なエンコーダ・デコーダフレームワークを提案する。変動長で非一様な時系列を効率的に符号化するための連続畳み込み層を導入し、変分オートエンコーダ（P-VAE）および生成的対抗ネットワーク（P-BiGAN）を用いて、共同表現学習と生成を実現。従来の最先端モデル（例：Latent ODE）と比較して最大50倍高速な学習を実現しながら、競争力のある分類性能を達成した。

ABSTRACT

Irregularly-sampled time series occur in many domains including healthcare. They can be challenging to model because they do not naturally yield a fixed-dimensional representation as required by many standard machine learning models. In this paper, we consider irregular sampling from the perspective of missing data. We model observed irregularly-sampled time series data as a sequence of index-value pairs sampled from a continuous but unobserved function. We introduce an encoder-decoder framework for learning from such generic indexed sequences. We propose learning methods for this framework based on variational autoencoders and generative adversarial networks. For continuous irregularly-sampled time series, we introduce continuous convolutional layers that can efficiently interface with existing neural network architectures. Experiments show that our models are able to achieve competitive or better classification results on irregularly-sampled multivariate time series compared to recent RNN models while offering significantly faster training times.

研究の動機と目的

• 標準的な機械学習モデルが要請する固定次元表現を持たない不規則にサンプリングされた時系列をモデル化する課題に対処すること。
• 観測された時系列データを、潜在的な連続関数の部分的観測とみなすことで、不規則なサンプリングを欠損データ問題として再定式化すること。
• 潜在的な時系列プロセスの学習、潜在表現の推定、時系列分類を統合的に実行できるスケーラブルでエンドツーエンドの深層学習フレームワークを開発すること。
• 非一様な時系列に特化した連続畳み込み層を用いて、標準的なニューラルネットワークへの効率的統合を可能にすること。
• RNNベースおよびODEベースのモデルと比較して、予測精度と学習速度の両面で優れるようにすること。

提案手法

• 時系列データをインデックス-値ペア (t_i, x_i) としてモデル化し、未観測の時刻を関数 f: [0,T] → ℝ の潜在的連続関数における欠損データとみなす。
• エンコーダ・デコーダアーキテクチャを採用し、エンコーダが不規則な観測値を潜在分布にマップし、デコーダが潜在コードから完全な関数を再構築する。
• 連続畳み込み層を導入し、等間隔の基準点上で区分線形カーネルを適用することで、不規則にサンプリングされたデータを処理し、微分可能で並列化可能な特徴抽出を可能にする。
• P-VAEバージョンでは、真の潜在関数の事後分布を近似するために重要度重み付きオートエンコーダ（IWAE）を用いた変分推論を採用する。
• P-BiGANバージョンでは、実際の時系列と生成された時系列を区別するように訓練される識別器を備えたGANベースのアプローチを採用し、欠損データに対する従来のGANよりも優れた生成品質を実現する。
• 下流の分類器と共同で学習することで、分類タスクに最適化されたエンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 不規則にサンプリングされた時系列は、スケーラブルな深層学習を可能にするために、欠損データ問題として効果的にモデル化可能か？
• RQ2 連続畳み込み層は、非一様な時系列を固定次元表現に埋め込むための効率的で微分可能な方法を提供できるか？
• RQ3 提案されたP-VAEおよびP-BiGANフレームワークは、RNNおよびODEベースのモデルと比較して、予測精度を維持しつつ、著しく学習時間を短縮できるか？
• RQ4 MIMIC-IIIのような臨床時系列データ（欠損率が非常に高い）において、提案フレームワークはLatent ODEやGRU-Dといった最先端モデルと比較して、どのように性能を発揮するか？
• RQ5 生成機能を含まないベースライン（エンコーダと分類器のみ）は、著しく欠損率の高い時系列において、従来のRNNよりも優れた性能を示せるか？

主な発見

• Cont P-BiGANは、MIMIC-IIIの死亡予測タスクでAUC 86.05%を達成し、Latent ODE（85.71%）およびGRU-D（83.88%）を上回った。
• Cont P-VAEはAUC 85.52%を達成し、Latent ODEと比較して50倍以上も高速に学習された。
• Cont P-BiGANは1エポックあたり0.22時間で学習が完了したのに対し、Latent ODEは2.62時間であり、モデルの複雑さが高かろうとも10倍以上の高速化が達成された。
• 非生成的Cont ClassifierはAUC 84.87%を達成し、M-RNN（83.87%）およびGRU-D（83.88%）を上回った。これは、連続畳み込みエンコーダのみでも有効であることを示している。
• 連続畳み込み層により、並列処理が高度に可能となり、逐次的なRNNおよびODEベースのモデルと比較して、学習時間が桁違いに短縮された。
• 本フレームワークは、MIMIC-IIIで平均92%の欠損率が見られる高い欠損率にもかかわらず、実臨床データにおける強力な一般化性能を示した。