[論文レビュー] Improving Clinical Predictions through Unsupervised Time Series Representation Learning

Xinrui Lyu, Matthias Hüser+3 more|arXiv (Cornell University)|Dec 2, 2018

Machine Learning in Healthcare参考文献 17被引用数 26

ひとこと要約

本論文は、ラベルなしデータから臨床時系列表現を学習するための新しい教師なしsequence-to-sequence予測モデル（S2S-F-A）を提案する。大規模なラベルなしICUデータで事前学習することで、特にデータが少ない状況においても、24時間以内の死亡や退院予測といった下流の臨床予測タスクにおいて、エンドツーエンドの教師あり学習よりも顕著に性能が向上する汎用的患者表現を学習する。

ABSTRACT

In this work, we investigate unsupervised representation learning on medical time series, which bears the promise of leveraging copious amounts of existing unlabeled data in order to eventually assist clinical decision making. By evaluating on the prediction of clinically relevant outcomes, we show that in a practical setting, unsupervised representation learning can offer clear performance benefits over end-to-end supervised architectures. We experiment with using sequence-to-sequence (Seq2Seq) models in two different ways, as an autoencoder and as a forecaster, and show that the best performance is achieved by a forecasting Seq2Seq model with an integrated attention mechanism, proposed here for the first time in the setting of unsupervised learning for medical time series.

研究の動機と目的

• ラベルなし医療時系列データにおける教師なし表現学習が、下流の臨床予測タスクの性能を向上させるかどうかを調査すること。
• さまざまな自己符号化および予測アーキテクチャの性能を評価し、汎用的患者表現を学習する能力を検証すること。
• ラベル付きデータが限られる状況において、教師なし事前学習がエンドツーエンドの教師あり学習を上回るかどうかを特定すること。
• 注意機構が臨床時系列の表現品質を向上させる役割を果たすかどうかを検討すること。
• 学習された表現が、多様な臨床予測タスクにわたって転送可能かどうかを評価すること。

提案手法

• 著者らは、エンコーダーとデコーダーの両方として長短期記憶（LSTM）ユニットを用いたsequence-to-sequence（Seq2Seq）モデルを、教師なし表現学習に用いる。
• モデルは、サイズTのスライディングウィンドウを用いて、過去の時系列信号を再構築するように学習し、平均二乗誤差（MSE）損失を用いる。
• 本稿では、過去の信号を再構築するのではなく、将来の時系列ステップを予測する予測ベースのSeq2Seqモデル（S2S-F）を新たに導入する。
• S2S-Fモデルに注意機構を統合（S2S-F-A）し、予測時に関連するエンコーダー状態に注目できるようにする。
• エンコーダーから得られる表現を、1層および3層のLSTMなどの下流分類器の入力特徴として用いる。
• MIMIC-IIIデータセットを用いて、再構築誤差と臨床予後予測（死亡、退院）の両方を、AUROCおよびAUPRCを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの教師あり学習と比較して、ラベルなし医療時系列データにおける教師なし表現学習が、臨床的に重要な予後を予測する能力を向上させるか。
• RQ2 予測ベースのSeq2Seqモデルが、再構築ベースの自己符号化器と比較して、より有用な表現を学習できるか。
• RQ3 臨床時系列の教師なしSeq2Seqフレームワークに注意機構を統合することで、どのような影響を及ぼすか。
• RQ4 ラベル付きデータが限られる低データ環境において、教師なし表現がどのように性能を発揮するか。
• RQ5 ラベルなしデータから学習した表現が、複数の下流臨床予測タスクに一般化可能か。

主な発見

• 予測と注意機構を組み合わせたS2S-F-Aモデルは、将来の生理的信号を予測する際、平均二乗誤差0.0474 ± 0.003を達成し、すべてのベースラインを上回る最高の性能を示した。
• 24時間以内の死亡予測において、S2S-F-A表現はAUROC 0.890 ± 0.009およびAUPRC 0.201 ± 0.01を達成し、全手法の中で最高の結果を示した。
• ラベル付きデータが1%の状況において、S2S-F-A表現を用いて学習したモデルが、より深いエンドツーエンド教師ありモデル（LSTM-3）でさえも上回り、教師なし事前学習の利点を示した。
• 24時間以内の退院予測において、S2S-F-AモデルはAUPRC 0.480 ± 0.007を達成し、全手法の中で最高の結果を示し、臨床意思決定タスクへの強い一般化能力を示した。
• たとえラベル付き患者がたった75名（データ全体の1%）しか存在しない状況でも、教師なし表現学習アプローチが優れた性能を維持した。これは、データが乏しい臨床環境においても有効であることを示唆している。
• 結果から、予測目的と注意機構を用いた教師なし事前学習が、再構築ベースの自己符号化器や単純なベースラインと比較して、より情報豊かな表現を生成することが確認された。