[論文レビュー] RETAIN: An Interpretable Predictive Model for Healthcare using Reverse Time Attention Mechanism

Edward Choi, Mohammad Taha Bahadori+4 more|arXiv (Cornell University)|Aug 19, 2016

Machine Learning in Healthcare参考文献 29被引用数 217

ひとこと要約

RETAINは2つのRNNを用いて逆時刻の注意機構を導入し、EHRデータから医療アウトカムを予測。RNNと同程度の精度を達成しつつ、訪問レベルおよび変数レベルの解釈性を提供する。

ABSTRACT

Accuracy and interpretability are two dominant features of successful predictive models. Typically, a choice must be made in favor of complex black box models such as recurrent neural networks (RNN) for accuracy versus less accurate but more interpretable traditional models such as logistic regression. This tradeoff poses challenges in medicine where both accuracy and interpretability are important. We addressed this challenge by developing the REverse Time AttentIoN model (RETAIN) for application to Electronic Health Records (EHR) data. RETAIN achieves high accuracy while remaining clinically interpretable and is based on a two-level neural attention model that detects influential past visits and significant clinical variables within those visits (e.g. key diagnoses). RETAIN mimics physician practice by attending the EHR data in a reverse time order so that recent clinical visits are likely to receive higher attention. RETAIN was tested on a large health system EHR dataset with 14 million visits completed by 263K patients over an 8 year period and demonstrated predictive accuracy and computational scalability comparable to state-of-the-art methods such as RNN, and ease of interpretability comparable to traditional models.

研究の動機と目的

• 電子カルテ（EHR）における正確でありながら解釈可能な予測モデルの必要性を動機付ける。
• 高度な精度と解釈性を組み合わせて時系列性と特徴重要度をモデル化する予測フレームワークを開発する。
• 医師の行動を模倣し、最近の訪問と重要な臨床変数に逆時系列順で注意を払う。
• 予測に寄与する訪問と変数を解釈する透明な機構を提供する。

提案手法

• 各訪問の臨床コードを学習可能な埋め込みを用いて固定次元ベクトルに埋め込む。
• 2つのRNNを用いて訪問レベルの注意(alpha)と変数レベルの注意(beta)を逆時系列順に生成する。
• alphaとbetaで変調された訪問埋め込みの重み付き和としてコンテキストベクトルを計算し、次にsoftmax/ロジスティック層でアウトカムを予測する。
• 予測精度と安定性を最適化するためにクロスエントロピー（または実数値出力に適した損失）で訓練する。
• Appendix Aに記載のように、タイムスタンプを組み込むことで性能をわずかに向上させることができる。

実験結果

リサーチクエスチョン

• RQ1 RETAINはEHRデータに対してRNNベースのモデルと同等の予測性能を達成できるか。
• RQ2 逆時刻注意機構は従来のモデルに比べて解釈性を改善し、精度を犠牲にしないか。
• RQ3 訪問レベルおよび変数レベルの注意はモデルの予測にどのように寄与し、臨床的にどのように解釈できるか。
• RQ4 RETAINの大規模なEHRデータセットにおけるスケーラビリティはどうか。

主な発見

Model	Test Neg Log Likelihood	AUC	Train Time / epoch	Test Time
LR	0.3269±0.0105	0.7900±0.0111	0.15s	0.11s
MLP	0.2959±0.0083	0.8256±0.0096	0.25s	0.11s
RNN	0.2577±0.0082	0.8706±0.0080	10.3s	0.57s
RNN+ αM	0.2691±0.0082	0.8624±0.0079	6.7s	0.48s
RNN+ αR	0.2605±0.0088	0.8717±0.0080	10.4s	0.62s
RETAIN	0.2562±0.0083	0.8705±0.0081	10.8s	0.63s

• RETAINは心不全予測タスクでRNN系と同等の予測性能を達成する。
• RETAINは訪問の影響と変数レベルの寄与を特定することで解釈可能な出力を提供する。
• 実験ではRETAINのネガティブ対数尤度とAUCはRNNベースの基準と競合し、精度と効率の両方を示す。
• RETAINの訓練と推論時間はRNNベースのモデルと同等であり、大規模なEHRデータセットに対するスケーラビリティに適している。
• 逆時刻注意は意味のある解釈を可能にし、臨床医はどのコードや訪問が特定の予測を駆動しているかをたどることができる。