[論文レビュー] Deep Learning to Attend to Risk in ICU

Phuoc Nguyen, Truyen Tran+1 more|arXiv (Cornell University)|Jul 17, 2017

Machine Learning in Healthcare参考文献 14被引用数 12

ひとこと要約

本稿では、不規則にサンプリングされた生理的時系列データからICU死亡リスクを予測するための深層学習モデルを提案する。このモデルは、長短期記憶（LSTM）に基づき、信号レベルの注意メカニズムと推論レベルの注意メカニズムを併用している。信号レベルの注意により有用な測定値を選択し、推論レベルの注意により重要な時間間隔に重みを付ける。PhysioNet 2012データセットにおいてAUC 0.839を達成し、ベースライン手法を上回り、解釈可能なリスク推定を提供する。

ABSTRACT

Modeling physiological time-series in ICU is of high clinical importance. However, data collected within ICU are irregular in time and often contain missing measurements. Since absence of a measure would signify its lack of importance, the missingness is indeed informative and might reflect the decision making by the clinician. Here we propose a deep learning architecture that can effectively handle these challenges for predicting ICU mortality outcomes. The model is based on Long Short-Term Memory, and has layered attention mechanisms. At the sensing layer, the model decides whether to observe and incorporate parts of the current measurements. At the reasoning layer, evidences across time steps are weighted and combined. The model is evaluated on the PhysioNet 2012 dataset showing competitive and interpretable results.

研究の動機と目的

• ICUモニタリングにおける不規則にサンプリングされた生理的時系列データや欠損値の問題に対処し、従来の統計的手法の適用を困難にする要因を解消すること。
• 測定のタイミングや欠損の有無が示す臨床的意思決定プロセスをモデル化し、欠損を情報として扱う。
• 個々のバイオマーカーと重要な時間間隔を動的に重み付けする注意メカニズムを統合することで、ICU死亡リスク予測の精度を向上させること。
• 特に、リスク予測に寄与する測定値や時間帯を強調することで、モデルの解釈可能性を高めること。
• 注意確率と予測された死亡リスクに基づいて、リアルタイムのアラートフレームワークを構築すること。

提案手法

• 固定3時間間隔に分割されたICU時系列データを前処理し、患者固有またはグローバルな平均値を用いて欠損値を補完し、各時間帯ごとに要約統計量（最小値、最大値、平均値、中央値、標準偏差）を計算する。
• 時間的ダイナミクスを符号化するため、長短期記憶（LSTM）ネットワークを用いる。入力ゲートとフォグットゲートが、入力の関連性に応じて情報の流れを制御する。
• 各時刻における有用なバイオマーカーを段階的に統合できるように、LSTMの入力ゲートを用いて信号レベルの注意メカニズムを実装する。
• LSTMの隠れ状態に複数の推論レベルの注意ヘッドを適用し、結果予測に寄与する時間間隔の重要性を動的に重みづけする。
• 複数の注意ヘッドを用いて、注意された隠れ状態をプーリングし、文脈に適した特徴ベクトルを生成する。
• 入力層および出力層にドロップアウト正則化を適用した交差エントロピー損失関数を用いて、エンドツーエンドのモデルを訓練し、過学習を低減する。

実験結果

リサーチクエスチョン

• RQ1 不規則にサンプリングされた生理的時系列データおよび欠損値が存在する状況下でも、注意メカニズムがICU死亡リスク予測の性能を向上させられるか？
• RQ2 欠損を情報として扱う（選択的注意を介して）ことで、標準的な補完法やプーリング手法と比較して、予測性能が向上するか？
• RQ3 信号レベルと時間的レベルの二重注意メカニズムが、モデルの解釈可能性および臨床的妥当性をどの程度向上させるか？
• RQ4 PhysioNet 2012ベンチマークにおいて、LSTM、GRU、双方向LSTMといった最先端手法と比較して、本手法はどのように差をつけるか？
• RQ5 注意確率は、結果予測を超えて、患者の深刻な状態に備えたリアルタイムのアラート信号として機能できるか？

主な発見

• 提案手法は、PhysioNet 2012データセットにおいてAUC 0.839を達成し、標準LSTM（AUC 0.825）および注意メカニズムを備えた双方向LSTM（AUC 0.839）を上回った。
• 注意メカニズムの導入により、平均プーリングを用いた標準LSTMと比較して、予測精度が向上した。これは、情報の選択的重み付けの価値を示している。
• 双方向LSTMに注意メカニズムを適用した場合、単方向LSTMに注意メカニズムを適用した場合に比べてわずかな改善が見られた。これは、将来的な長期依存関係のモデル化において、双方向的文脈が有益である可能性を示唆している。
• 注意確率は、臨床的に関連する時間間隔を効果的に特定しており、高い注意値がリスク上昇期やバイオマーカーの異常傾向と一致した。
• 生の測定値や疾患状態と併せて注意重みを可視化することで、モデルの解釈可能性が検証され、将来的なリアルタイム臨床アラートの実現が可能であると示された。
• 全系列統計量を用いたロジスティック回帰（AUC 0.791）や他の補完ベースのベースライン手法と比較して、本手法は優れた性能を示した。これは、エンドツーエンド学習と注意メカニズムの統合による利点を裏付けている。