[論文レビュー] BEHRT: Transformer for Electronic Health Records

Yikuan Li, Shishir Rao+6 more|arXiv (Cornell University)|Jul 22, 2019

Machine Learning in Healthcare参考文献 28被引用数 16

ひとこと要約

BEHRT は、時間的順序に従った多様な EHR 概念の系列を活用することで、電子歴史記録（EHR）のマルチタスク疾患予測とパーソナライズド・ディーズス・トラジェクトリーマッピングを可能にするトランスフォーマー基盤のディープラーニングモデルである。160万件の患者で訓練された本モデルは、301の疾患に対して、最先端のモデルと比較して平均精度で8.0–10.8%の絶対的向上を達成した。

ABSTRACT

Today, despite decades of developments in medicine and the growing interest in precision healthcare, vast majority of diagnoses happen once patients begin to show noticeable signs of illness. Early indication and detection of diseases, however, can provide patients and carers with the chance of early intervention, better disease management, and efficient allocation of healthcare resources. The latest developments in machine learning (more specifically, deep learning) provides a great opportunity to address this unmet need. In this study, we introduce BEHRT: A deep neural sequence transduction model for EHR (electronic health records), capable of multitask prediction and disease trajectory mapping. When trained and evaluated on the data from nearly 1.6 million individuals, BEHRT shows a striking absolute improvement of 8.0-10.8%, in terms of Average Precision Score, compared to the existing state-of-the-art deep EHR models (in terms of average precision, when predicting for the onset of 301 conditions). In addition to its superior prediction power, BEHRT provides a personalised view of disease trajectories through its attention mechanism; its flexible architecture enables it to incorporate multiple heterogeneous concepts (e.g., diagnosis, medication, measurements, and more) to improve the accuracy of its predictions; and its (pre-)training results in disease and patient representations that can help us get a step closer to interpretable predictions.

研究の動機と目的

• EHR データから将来の疾患を正確にマルチラベルで予測できるディープラーニングモデルの開発。
• 注意メカニズムを用いて、過去の疾患と将来の疾患の間の文脈的関係を明らかにすることで、パーソナライズドな疾患のトラジェクトリーマッピングを可能にすること。
• 診断、薬剤、検査、人口統計的特徴など、多様な EHR モダリティを統合できる柔軟で事前学習されたアーキテクチャの作成。
• 学習された疾患埋め込みと注意可視化を通じて、予測の解釈性を向上させること。
• 生または最小限に処理された EHR シーケンスから直接表現を学習することで、手動による特徴工学の依存度を低減すること。

提案手法

• BEHRT は、EHR シーケンスデータをモデル化するため、トランスフォーマー・エンコーダー・アーキテクチャを採用しており、各臨床イベントをシーケンス内のトークンとして扱う。
• 時間的および文脈的情報を符号化するために、4つの主要な埋め込みを用いる：疾患（ICD-10 コード）、年齢、訪問内での段階（例：早期／後期）、および訪問内での位置。
• 大規模な EHR データセット（CPRD）を用いてマスクド・ランゲージ・モデリングにより事前学習を行い、疾患および患者のトラジェクトリーレプレゼンテーションを学習する。
• 下流のマルチラベル疾患予測タスクに適応させるために微調整を実施し、最小限のタスク固有の調整で転移学習を可能にする。
• 注意メカニズムを用いて、将来の疾患予測に影響を与える過去のイベントとその文脈的影響を同定する。
• 入力埋め込み空間へのベクトル加算により、薬剤や検査結果などの新しい EHR モダリティの容易な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたトランスフォーマー・モデルは、既存のディープラーニング EHR モデルと比較して、マルチラベルの将来疾患予測において優れた性能を達成できるか？
• RQ2 BEHRT は、異種の EHR データに対して注意メカニズムを用いて、複雑で非線形的な疾患のトラジェクトリーマッピングをどれほど効果的にモデル化できるか？
• RQ3 学習された疾患埋め込みと注意重みは、予測の解釈性をどの程度向上させるか？
• RQ4 BEHRT は、最小限のアーキテクチャ的変更で、多様な臨床的疾患に一般化できるか？
• RQ5 年齢や訪問順序などの時間的および文脈的特徴を組み込むことで、予測性能がどの程度向上するか？

主な発見

• BEHRT は、6か月以内の疾患発症予測において、301の疾患に対して、最先端のモデルと比較して平均精度で8.0–10.8%の絶対的向上を達成した。
• モデルの注意メカニズムは、過去の診断と将来の診断の間の文脈的関係を解釈可能なインサイトとして提供し、疾患の進行を可視化できる。
• 大規模な EHR コーパスでの事前学習により、BEHRT は疾患および患者のトラジェクトリーレプレゼンテーションを意味のあるものとして学習し、下流タスクの予測精度を向上させた。
• 柔軟なアーキテクチャのおかげで、薬剤や検査結果などの追加の EHR モダリティを、最小限のアーキテクチャ的変更でシームレスに統合できる。
• BEHRT が学習した疾患埋め込みは、共起性を超えた複雑な関係を捉えており、大規模な患者集団における共通のトラジェクトリーレイアウトを反映している。
• 注意重みの可視化により、研究者が疾患の文脈パターンを探索・分析でき、臨床研究における仮説生成を支援できる。