[論文レビュー] Graph-Guided Network for Irregularly Sampled Multivariate Time Series

Xiang Zhang, Marko Zeman+2 more|arXiv (Cornell University)|Oct 11, 2021

Machine Learning in Healthcare参考文献 38被引用数 24

ひとこと要約

Raindrop は、不規則にサンプリングされた多次元時系列データを扱うためのグラフニューラルネットワークであり、各サンプルごとに動的でサンプル特有のセンサー依存性グラフを学習し、情報伝達に新しいメッセージパッシング機構を用いる。医療およびヒューマンアクティビティデータセットにおいて、F1スコアで最先端手法を最大11.4パーセンテージポイント上回り、補完を用いずに不整合・非一様・スパースな観測に対しても優れた性能を示す。

ABSTRACT

In many domains, including healthcare, biology, and climate science, time series are irregularly sampled with varying time intervals between successive readouts and different subsets of variables (sensors) observed at different time points. Here, we introduce RAINDROP, a graph neural network that embeds irregularly sampled and multivariate time series while also learning the dynamics of sensors purely from observational data. RAINDROP represents every sample as a separate sensor graph and models time-varying dependencies between sensors with a novel message passing operator. It estimates the latent sensor graph structure and leverages the structure together with nearby observations to predict misaligned readouts. This model can be interpreted as a graph neural network that sends messages over graphs that are optimized for capturing time-varying dependencies among sensors. We use RAINDROP to classify time series and interpret temporal dynamics on three healthcare and human activity datasets. RAINDROP outperforms state-of-the-art methods by up to 11.4% (absolute F1-score points), including techniques that deal with irregular sampling using fixed discretization and set functions. RAINDROP shows superiority in diverse setups, including challenging leave-sensor-out settings.

研究の動機と目的

• 不規則なサンプリング、ずれのある観測、変動するセンサーの利用可能性を伴う多次元時系列をモデル化する課題に対処すること。
• 補完や固定された離散化に依存せずに、観測データから直接時変なセンサー間依存関係を学習すること。
• センサー関係性を潜在的でサンプル特有のグラフとしてモデル化することで、表現学習と下流分類の性能を向上させること。
• 欠損したセンサーデータが一般的な「センサーを除いて学習する」評価設定など、困難な状況でも頑健な性能を発揮できること。
• 学習されたグラフ構造を通じて意味のあるセンサードライヴンのダイナミクスを捉える解釈可能なモデルを提供すること。

提案手法

• Raindrop は、各時系列サンプルごとに別々の潜在的センサーガーベンスグラフを構築し、ノードがセンサーを表し、エッジが学習されたセンサー間関係を表す。
• 時間的近接性とセンサー類似度を組み合わせた新しいメッセージパッシング演算子を採用し、センサーグラフ上をニューラルメッセージを伝播させる。
• 階層的アテンションメカニズムを用いて、時系列観測の重要性とグラフ内の隣接センサーの重要度を重みづけする。
• ノード表現、グラフ構造（エッジ重みを介して）、アテンションパラメータを同時に最適化する微分可能フレームワークを用いる。
• 再構成損失と分類損失の組み合わせを用いて、関係性と時間的ダイナミクスを同時に最適化できるように、グラフ構造をエンドツーエンドで学習する。
• 複数のサンプル間でアテンション重みを共有することで、多様な時系列に共通するパターンを捉え、一般化を促進する。

実験結果

リサーチクエスチョン

• RQ1 補完を用いずに、不規則にサンプリングされた多次元時系列における時変なセンサー間依存関係をグラフニューラルネットワークが効果的にモデル化できるか。
• RQ2 サンプル特有のセンサーグラフを学習することで、表現学習と下流分類の精度がどの程度向上するか。
• RQ3 固定された離散化や集合ベースの関数に依存する手法と比較して、Raindrop は不規則な時系列に対してどの程度優れた性能を示すか。
• RQ4 学習されたセンサーガーベンスグラフは、疾患状態などの下流ラベルに関連する意味のあるパターンを明らかにできるか。
• RQ5 センサーのデータが体系的に欠落するような「センサーを除いて学習する」評価設定において、Raindrop はどの程度頑健な性能を示すか。

主な発見

• Raindrop は、3つの医療およびヒューマンアクティビティデータセットにおいて、最先端手法と比較して最大11.4パーセンテージポイント高いF1スコアを達成し、顕著な性能向上を示した。
• Setting 1 におけるPAMデータセットでは、Raindrop はF1スコア47.2 ± 4.4を達成し、次に優れた手法を11点以上上回った。
• アブレーションスタディの結果、センサー間依存関係、時間的アテンション、センサーレベルの連結の各要素が最適性能を発揮するために不可欠であることが確認された。
• 学習されたセンサーガーベンスグラフの可視化から、陽性と陰性のセプシス症例で明確な構造的パターンが観察され、解釈可能性と臨床的関連性が示された。
• 「センサーを除いて学習する」設定においても、Raindrop は優れた一般化性能を示し、推論時においても完全に欠落したセンサーが存在しても強固な性能を維持した。
• 観測頻度やセンサーの利用可能性に高いばらつきがあるデータセットを含め、多様な設定において一貫して優れた性能を発揮した。