[論文レビュー] An explainable Transformer-based deep learning model for the prediction of incident heart failure

Shishir Rao, Yikuan Li+7 more|arXiv (Cornell University)|Jan 27, 2021

Machine Learning in Healthcare被引用数 7

ひとこと要約

本研究では、100,071名の英国患者の縦断的電子歴史記録（EHR）を用いて、インcidント心不全を予測する、新規で解釈可能なトランスフォーマー基盤のディープラーニングモデルを提示する。このモデルは、内部でAUC-ROC 0.93、外部でAUC-ROC 0.93を達成し、従来のモデルを上回る性能を発揮するとともに、摂動に基づく解釈可能手法により、既知の要因に加え新規のリスク要因を同定した。

ABSTRACT

Predicting the incidence of complex chronic conditions such as heart failure is challenging. Deep learning models applied to rich electronic health records may improve prediction but remain unexplainable hampering their wider use in medical practice. We developed a novel Transformer deep-learning model for more accurate and yet explainable prediction of incident heart failure involving 100,071 patients from longitudinal linked electronic health records across the UK. On internal 5-fold cross validation and held-out external validation, our model achieved 0.93 and 0.93 area under the receiver operator curve and 0.69 and 0.70 area under the precision-recall curve, respectively and outperformed existing deep learning models. Predictor groups included all community and hospital diagnoses and medications contextualised within the age and calendar year for each patient's clinical encounter. The importance of contextualised medical information was revealed in a number of sensitivity analyses, and our perturbation method provided a way of identifying factors contributing to risk. Many of the identified risk factors were consistent with existing knowledge from clinical and epidemiological research but several new associations were revealed which had not been considered in expert-driven risk prediction models.

研究の動機と目的

• 豊富な電子歴史記録（EHR）データを用いたディープラーニングにより、発症心不全の予測精度を向上させること。
• 臨床現場への導入を想定し、高い正確性と本質的な解釈可能性を併せ持つモデルを開発すること。
• EHRに埋め込まれた文脈的医療情報を利用することで、既知の要因に加え新規の臨床的意味のあるリスク要因を同定すること。
• 医療分野におけるブラックボックス型ディープラーニングモデルの限界を克服するため、摂動に基づく説明手法を導入すること。
• 厳密な交差検証とホールドアウトテストを用いて、内部および外部データセットの両方でモデルの性能を検証すること。

提案手法

• 縦断的EHRデータ（診断、薬剤、年齢、暦年）を用いて、トランスフォーマー基盤のディープラーニングアーキテクチャを学習する。
• 患者の全データは文脈特徴で埋め込まれ、各医療イベントの時間的および人口統計的文脈が符号化される。
• 入力トークンを体系的に変更し、予測の変化を測定することで、特徴の重要度を評価する摂動に基づく説明手法を適用する。
• マルチヘッド自己注意機構を用いて、タイムスタンプ付きの臨床イベント間の長距離依存関係を捉える。
• 妥当性を確保するため、5分割交差検証とホールドアウト外部データセットを用いて性能を評価する。
• 優れた予測性能を示すために、既存のディープラーニングベースラインとモデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 EHRデータを用いた場合、トランスフォーマー基盤のディープラーニングモデルは、従来のモデルよりも高い予測性能を達成できるか？
• RQ2 年齢、年、診断の順序などの文脈的医療情報（例：年齢、年、診断順序）を組み込むことで、予測精度がどの程度向上するか？
• RQ3 摂動に基づく手法により、信頼性があり人間が解釈可能な予測の説明をモデルが提供できるか？
• RQ4 本モデルは、従来のエキスパート主導のリスクスコアに含まれていない、新規の心不全リスク要因を同定できるか？
• RQ5 外部のホールドアウトデータセットで評価した場合、モデルの性能は異なる患者集団にどの程度一般化可能か？

主な発見

• 内部5分割交差検証では受信者操作特性曲線下の面積（AUC-ROC）が0.93、外部ホールドアウト検証でも0.93を達成した。
• 内部ではAUC-PRが0.69、外部では0.70を記録し、不均衡なデータにおいても優れた性能を示した。
• 摂動に基づく説明手法により、臨床的に関連のあるリスク要因（既知の要因に加え、以前に認識されていなかった関連性も含む）が的確に同定された。
• 感度分析により、年齢や暦年などの文脈的医療情報が予測精度の向上に寄与することが確認された。
• エキスパート主導のリスク予測モデルで以前に考慮されていなかった複数の新規リスク関連性が同定された。
• AUC-ROCおよびAUC-PRの両指標において、既存のディープラーニングベースラインを上回り、優れた予測能力を示した。