[論文レビュー] Attend and Diagnose: Clinical Time Series Analysis using Attention Models

Huan Song, Deepta Rajan+2 more|arXiv (Cornell University)|Nov 10, 2017

Machine Learning in Healthcare参考文献 20被引用数 42

ひとこと要約

本論文は、再帰的ネットワークの代わりにマスク付きマルチヘッドアテンション機構を用いる、臨床時系列解析のための新規自己注意型アーキテクチャであるSAnD（Simply Attend and Diagnose）を提案する。位置エンコーディングと密度勾配補間を組み合わせることで、時系列の順序をモデル化する。複数のMIMIC-IIIベンチマークタスクにおいて、LSTMベースのモデルや古典的ベースラインを上回る最先端の性能を達成しており、死亡予測、失調検出、入院期間予測、表現型分類の分野で優れた結果を示している。

ABSTRACT

With widespread adoption of electronic health records, there is an increased emphasis for predictive models that can effectively deal with clinical time-series data. Powered by Recurrent Neural Network (RNN) architectures with Long Short-Term Memory (LSTM) units, deep neural networks have achieved state-of-the-art results in several clinical prediction tasks. Despite the success of RNNs, its sequential nature prohibits parallelized computing, thus making it inefficient particularly when processing long sequences. Recently, architectures which are based solely on attention mechanisms have shown remarkable success in transduction tasks in NLP, while being computationally superior. In this paper, for the first time, we utilize attention models for clinical time-series modeling, thereby dispensing recurrence entirely. We develop the extit{SAnD} (Simply Attend and Diagnose) architecture, which employs a masked, self-attention mechanism, and uses positional encoding and dense interpolation strategies for incorporating temporal order. Furthermore, we develop a multi-task variant of extit{SAnD} to jointly infer models with multiple diagnosis tasks. Using the recent MIMIC-III benchmark datasets, we demonstrate that the proposed approach achieves state-of-the-art performance in all tasks, outperforming LSTM models and classical baselines with hand-engineered features.

研究の動機と目的

• 長期間の臨床時系列をモデル化する際のRNNの計算非効率性と逐次的依存性の制限を解決すること。
• 再帰構造を用いずに、自己注意メカニズムのみで臨床時系列を効果的にモデル化できるかを検証すること。
• 位置エンコーディングと密度勾配補間を用いて、注意ベースの表現に時系列順序を組み込むこと。
• 標準化されたMIMIC-IIIベンチマークを用いて、複数の臨床予測タスクにおける提案モデルの評価を行うこと。
• SAnDを用いたマルチタスク学習の有効性を調査すること。

提案手法

• 因果関係を保証し、1つのシーケンス内での依存関係をモデル化するため、マスク付きマルチヘッド自己注意メカニズムを提案する。
• シーケンス内の相対的なタイムステップ情報を保持するために、位置エンコーディングを統合する。
• 欠損値を推定することで、不規則にサンプリングされた臨床時系列データに対処するため、密度勾配補間埋め込みを採用する。
• 学習の安定性を高めるために、残差接続とレイヤーナーミャライゼーションを適用する。
• 性能最適化のため、ハイパーパramータ（N: アテンション層の数、M: 密度勾配補間係数、r: シーケンス解像度）のグリッドサーチを実施する。
• 死亡、失調、入院期間、表現型分類の各タスクを同時に最適化できるように、重み付き損失関数を用いたマルチタスク学習を採用する。

実験結果

リサーチクエスチョン

• RQ1 再帰構造を一切用いずに、自己注意メカニズムのみで臨床時系列モデリングにおいて最先端の性能を達成できるか？
• RQ2 位置エンコーディングと密度勾配補間は、不規則にサンプリングされた臨床データにおける時系列順序をどれほど効果的に捉えられるか？
• RQ3 SAnDアーキテクチャは、標準的なMIMIC-IIIベンチマークにおいて、LSTMベースのモデルや手作業で特徴量を設計したベースラインを上回る性能を示すか？
• RQ4 SAnDを用いたマルチタスク学習は、多様な臨床予測タスクにおける汎化性能と性能を向上させるか？
• RQ5 最適なハイパーパramータ設定（例：層の数、補間係数）は、異なる臨床タスクでどのように異なるか？

主な発見

• SAnDは、MIMIC-IIIベンチマークの4つのタスクすべてで最先端の性能を達成した：死亡予測、生理的失調検出、入院期間予測、表現型分類。
• 入院死亡予測において、SAnDはAUROC 0.892、AUPRC 0.587を達成し、最良のLSTMベースラインを上回った。
• 失調検出において、SAnDはAUROC 0.856、AUPRC 0.421を達成し、先行する最先端手法を顕著に上回った。
• 入院期間予測において、SAnDはCohenの加重カッパ0.432、MAPE 42.1%を達成し、LSTMベースのモデルを上回った。
• マルチタスクSAnDバージョンは、全タスクで最高の性能を示し、特にデータが少ない状況でも汎化性能が向上し、過学習が抑制された。
• 最適なハイパーパramータはタスクによって異なり、死亡予測ではN=4、M=12；失調検出ではN=1、M=10；入院期間予測ではN=3、M=12；マルチタスク学習における表現型分類ではN=2、M=36が最適であった。