[論文レビュー] Phenotyping of Clinical Time Series with LSTM Recurrent Neural Networks

Zachary C. Lipton, David C. Kale+1 more|arXiv (Cornell University)|Oct 26, 2015

Time Series Analysis and Forecasting参考文献 22被引用数 31

ひとこと要約

この論文では、小児集中治療ユニット（PICU）の可変長臨床時系列から、長短記憶（LSTM）再帰的ニューラルネットワークを用いて多ラベル表現型分類を実行することを提案しており、生の測定値のみを用いて128の診断ラベルで最先端の性能を達成した。LSTMモデルは、特徴工学が施されたロジスティック回帰を含む強力なベースラインを、微小およびマクロAUC、F1スコアといった複数の指標で上回った。

ABSTRACT

We present a novel application of LSTM recurrent neural networks to multilabel classification of diagnoses given variable-length time series of clinical measurements. Our method outperforms a strong baseline on a variety of metrics.

研究の動機と目的

• 不規則にサンプリングされた、可変長の多変量臨床時系列を用いた集中治療患者の表現型分類の課題に対処すること。
• 特化した分野の特徴工学をほとんど行わずに、LSTMが臨床データ内の複雑な非線形時系列パターンを学習できるかどうかを評価すること。
• エンドツーエンドのLSTMモデルの性能を、多ラベル診断予測において従来の機械学習ベースラインと比較すること。
• 生の生理的および検査測定値から、自動的かつデータ駆動型の臨床表現型の発見が深層学習によって可能かどうかを検討すること。

提案手法

• モデルは、10,401件のPICUエピソードからの生の、1時間ごとにリサンプリングされた臨床時系列データを処理する2層のLSTMネットワーク（1層あたり128ユニット）を用いる。
• 入力データは、臨床専門家が定義した範囲を用いて[0,1]に正規化され、欠損値は前方・後方伝搬で補完される。
• LSTMの最終隠れ状態は、シグモイド活性化関数を用いた全結合層に渡され、多ラベル分類が行われる。
• 128の出力ノードに対してバイナリクロスエントロピー損失が使用され、勾配降下法にモーメンタムを用いてモデルが学習される。
• 勾配爆発の緩和のため、勾配クリッピングとL2重み減衰が適用され、ハイパーパramータチューニングには早期停止法が用いられる。
• モデルは時系列を順序に従って処理し、予測は最終時刻でのみ出力される。

実験結果

リサーチクエスチョン

• RQ1 不規則なサンプリングと欠損データを伴う多変量臨床時系列において、LSTMは長距離依存性を効果的にモデル化できるか？
• RQ2 特徴工学が施されたロジスティック回帰のような従来モデルと比較して、エンドツーエンドのLSTMモデルは多ラベル臨床表現型分類でどのように性能を発揮するか？
• RQ3 分野特化の特徴工学を一切行わず、生の臨床時系列データのみで、高い診断分類性能を達成できるか、その程度はいかほどか？
• RQ4 マクロ平均指標で測定した場合、LSTMモデルは希少疾患に対しても一般化性能を示すか？

主な発見

• LSTMモデルは、マイクロ-AUC 0.8324、マクロ-AUC 0.7717を達成し、次に優れたベースライン（特徴工学付きロジスティック回帰）を両指標で上回った。
• LSTMはマイクロ-F1スコア 0.2577、マクロ-F1スコア 0.1304を達成し、ロジスティック回帰ベースラインをそれぞれ0.0079および0.0050上回った。
• 上位10件の精度（precision at 10）では、LSTMは0.1078を記録し、最高スコアを出したベースライン（0.1085）をわずかに下回ったが、上位10件の予測品質が優れていることが示された。
• マクロ平均指標が比較的高いことから、希少疾患に対してもモデルの性能が安定しており、低頻度の表現型を効果的に学習していることが裏付けられた。
• 結果から、LSTMは生の時系列データから臨床的に意味のある表現を直接学習でき、専門家による特徴工学への依存を軽減できることが示された。