[論文レビュー] Self-supervised Transformer for Multivariate Clinical Time-Series with Missing Values.

Sindhu Tipirneni, Chandan K. Reddy|arXiv (Cornell University)|Jul 29, 2021

Machine Learning in Healthcare参考文献 18被引用数 6

ひとこと要約

STraTSは、観察の三つ組み（時刻、変数、値）としてデータを扱い、離散化を伴わずに欠損値や不規則な間隔に対処する連続値埋め込み（CVE）を用いる自己教師ありTransformerモデルであり、多変量臨床時系列データの死亡予測において最先端の性能を達成する。特にラベル付きデータが少ない状況下でも優れた性能を示し、特徴量の重要度を可視化する解釈可能な注意メカニズムを備えている。

ABSTRACT

Multivariate time-series (MVTS) data are frequently observed in critical care settings and are typically characterized by excessive missingness and irregular time intervals. Existing approaches for learning representations in this domain handle such issues by either aggregation or imputation of values, which in-turn suppresses the fine-grained information and adds undesirable noise/overhead into the machine learning model. To tackle this challenge, we propose STraTS (Self-supervised Transformer for TimeSeries) model which bypasses these pitfalls by treating time-series as a set of observation triplets instead of using the traditional dense matrix representation. It employs a novel Continuous Value Embedding (CVE) technique to encode continuous time and variable values without the need for discretization. It is composed of a Transformer component with Multi-head attention layers which enables it to learn contextual triplet embeddings while avoiding problems of recurrence and vanishing gradients that occur in recurrent architectures. Many healthcare datasets also suffer from the limited availability of labeled data. Our model utilizes self-supervision by leveraging unlabeled data to learn better representations by performing time-series forecasting as a self-supervision task. Experiments on real-world multivariate clinical time-series benchmark datasets show that STraTS shows better prediction performance than state-of-the-art methods for mortality prediction, especially when labeled data is limited. Finally, we also present an interpretable version of STraTS which can identify important measurements in the time-series data.

研究の動機と目的

• 集中治療環境における欠損値や不規則なサンプリングが生じる多変量臨床時系列データの取り扱いの課題に対処すること。
• 集約や補完に依存する従来の手法の限界を克服し、微細な情報の損失やノイズの導入を回避すること。
• 離散化を伴わない形で時系列的および変数固有の詳細を保持する表現学習フレームワークの構築。
• ラベル付きデータが限られる状況でのモデル性能向上を図るため、時系列予測を自己教師学習タスクとして活用すること。
• 予測に寄与する重要な測定値を特定することで、モデルの解釈可能性を高めること。

提案手法

• 密度行列ではなく、観察の三つ組み（時刻、変数、値）の集合として多変量時系列を表現することで、スパarsityと不規則なサンプリングを保持する。
• 離散化を伴わず連続時刻および連続変数値を符号化できる連続値埋め込み（CVE）を導入し、エンドツーエンド学習を可能にする。
• マルチヘッドアテンションを備えたTransformerエンコーダを用いて、三つ組みシーケンスからの文脈的埋め込みを学習し、勾配消失や再帰的構造の問題を回避する。
• 時系列予測を自己教師学習タスクとして用い、ラベルなしデータ上で事前学習することで表現の質を向上させる。
• 注意メカニズムを統合し、時系列内での重要な測定値を強調することで解釈可能性を実現する。
• 微調整段階で対照学習の目的関数を用いて、予測結果と正例ラベルの一致を保証する形でエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 三つ組みベースの表現学習アプローチは、従来の密度行列手法に比べ、欠損値や不規則な多変量時系列データの処理において優れた性能を示せるか？
• RQ2 連続値埋め込みは、離散化を伴わず連続時刻および連続変数値を効果的に符号化でき、微細な時系列的ダイナミクスを保持できるか？
• RQ3 時系列予測を用いた自己教師学習は、ラベル付き臨床データが限られる状況でモデル性能をどのように向上させるか？
• RQ4 STraTSの注意メカニズムは、臨床的に関連する測定値を特定することで意味のある解釈可能性を提供できるか？
• RQ5 実世界の臨床ベンチマークにおいて、STraTSは最先端のモデルと比較して死亡予測性能に優れているか？

主な発見

• STraTSは、実世界の多変量臨床時系列ベンチマークにおいて、死亡予測で最先端の性能を達成した。
• 特にラベル付きデータが少ない状況下で、効果的な自己教師学習のおかげで、既存手法に比べ顕著な性能向上を示した。
• 連続値埋め込みにより、離散化を伴わず連続時刻および連続変数値の正確な符号化が可能となり、時系列の粒度が保持された。
• 自己教師学習による時系列予測の事前学習段階が表現の質を向上させ、下流タスクでの性能向上に寄与した。
• 解釈可能な注意メカニズムにより、臨床的に関連する測定値が効果的に特定され、モデルの透明性が向上した。
• 不規則で欠損値を含むデータセットにおいて、RNNおよびアテンションベースのベースラインを上回る精度と頑健性を示した。