[論文レビュー] Learning the Joint Representation of Heterogeneous Temporal Events for Clinical Endpoint Prediction

Luchen Liu, Jianhao Shen+3 more|arXiv (Cornell University)|Mar 13, 2018

Machine Learning in Healthcare被引用数 14

ひとこと要約

本論文では、イベントタイプ埋め込みと時刻を制御するイベントゲート、およびイベントフィルタを導入することで、不規則なサンプリングレートと多様な臨床イベント間の非線形依存関係をモデル化する深層学習モデルであるHE-LSTMを提案する。実世界のEHRデータ上で評価した結果、死亡予測および異常な血液検査値の予測においてベースラインを上回り、初期学習段階で最大7.9%のAUC向上を達成し、さまざまなシーケンス長に対して安定した性能を示した。

ABSTRACT

The availability of a large amount of electronic health records (EHR) provides huge opportunities to improve health care service by mining these data. One important application is clinical endpoint prediction, which aims to predict whether a disease, a symptom or an abnormal lab test will happen in the future according to patients' history records. This paper develops deep learning techniques for clinical endpoint prediction, which are effective in many practical applications. However, the problem is very challenging since patients' history records contain multiple heterogeneous temporal events such as lab tests, diagnosis, and drug administrations. The visiting patterns of different types of events vary significantly, and there exist complex nonlinear relationships between different events. In this paper, we propose a novel model for learning the joint representation of heterogeneous temporal events. The model adds a new gate to control the visiting rates of different events which effectively models the irregular patterns of different events and their nonlinear correlations. Experiment results with real-world clinical data on the tasks of predicting death and abnormal lab tests prove the effectiveness of our proposed approach over competitive baselines.

研究の動機と目的

• EHRから得られる多様な臨床イベントにおける不規則でスケールの異なる時系列パターンをモデル化する課題に対処すること。
• 血液検査、診断、薬剤など多様なイベントタイプ間の複雑な非線形依存関係を捉える共同表現を学習すること。
• 数千種類のイベントタイプを含む大規模なEHRデータに適したスケーラブルな深層学習モデルを開発すること。
• 死亡や異常な血液検査値などの臨床的アウトカムの予測精度を向上させること。

提案手法

• 非同期的かつ多スケールのサンプリングレートに対応するため、イベントタイプ埋め込みと時刻によって制御されるイベントゲートを導入した、Phased LSTMの拡張。
• イベントゲート内にイベントフィルタ機構を導入し、異なるイベント頻度に適応する能力を高め、表現学習を改善する。
• 各イベントタイプおよびその属性の学習済み埋め込みを用いて、多様なイベントを共有の潜在空間に表現する。
• 時間ゲート付きメモリ更新を採用したゲート付き再帰ユニットアーキテクチャを用い、不規則なイベントシーケンスにおける長期的時系列依存関係をモデル化する。
• 臨床的アウトカム予測の最適化目的として、交差エントロピーとAUCを用いてエンドツーエンドでモデルを学習する。
• さまざまな履歴長を想定したマルチスケール入力シーケンス評価を実施し、時系列依存関係のモデル化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、EHRにおける多様な臨床イベントの不規則な受診パターンを効果的に捉えることができるか？
• RQ2 血液検査や診断など多様なイベントタイプ間の非線形相関は、臨床的アウトカム予測にどのように影響するか？
• RQ3 個別にイベントをモデル化するのと比較して、多様なイベントの共同表現をモデル化することで、予測性能はどの程度向上するか？
• RQ4 入力シーケンス長や初期パラメータ設定の変動に対して、提案モデルはどの程度頑健か？
• RQ5 イベントフィルタとイベントゲートの統合は、臨床予測タスクにおける一般化性能と収束速度を向上させるか？

主な発見

• HE-LSTMは、最初の学習エポックにおいて、フェーズゲートベースラインと比較して死亡予測のAUCで7.9%の向上を達成した。
• イベントゲートとイベントフィルタは、死亡予測において、AUCで平均0.5%、APで平均2.8%の向上を達成した。
• 入力シーケンス長が延長されても、HE-LSTMは安定した性能向上を維持した。シーケンス長が20から1000に増加した際、APは0.7551から0.7687に、AUCは0.9482から0.9516に上昇した。
• イベントフィルタを備えたモデルは、フィルタを削除した縮小版HE-LSTMと比較して、さまざまな初期期間設定において平均4.1%から6.6%の性能向上を示した。
• HE-LSTMは、死亡予測および異常血液検査値予測の両タスクで、すべてのベースラインを上回り、実世界のEHRデータにおけるスケーラビリティと表現学習の優位性を示した。
• モデルの性能向上は、特に長いシーケンスにおいて顕著であり、多様なイベントストリームにおける長期的時系列依存関係のモデル化の有効性を裏付けた。