[論文レビュー] BERTSurv: BERT-Based Survival Models for Predicting Outcomes of Trauma Patients

Yun Zhao, Qinghang Hong+4 more|arXiv (Cornell University)|Mar 19, 2021

Machine Learning in Healthcare参考文献 28被引用数 11

ひとこと要約

BERTSurvは、BERTベースの自然言語処理と臨床測定値を統合した、新規のディープラーニングフレームワークであり、対象は創傷患者の死亡率および生存予測である。非構造化臨床ノートと構造化データの両方に注目するメカニズムを活用することで、死亡予測のAUC-ROCが0.86、生存分析のC-indexが0.7に達し、ベースラインモデルを上回り、注目可視化による解釈可能性も向上した。

ABSTRACT

Survival analysis is a technique to predict the times of specific outcomes, and is widely used in predicting the outcomes for intensive care unit (ICU) trauma patients. Recently, deep learning models have drawn increasing attention in healthcare. However, there is a lack of deep learning methods that can model the relationship between measurements, clinical notes and mortality outcomes. In this paper we introduce BERTSurv, a deep learning survival framework which applies Bidirectional Encoder Representations from Transformers (BERT) as a language representation model on unstructured clinical notes, for mortality prediction and survival analysis. We also incorporate clinical measurements in BERTSurv. With binary cross-entropy (BCE) loss, BERTSurv can predict mortality as a binary outcome (mortality prediction). With partial log-likelihood (PLL) loss, BERTSurv predicts the probability of mortality as a time-to-event outcome (survival analysis). We apply BERTSurv on Medical Information Mart for Intensive Care III (MIMIC III) trauma patient data. For mortality prediction, BERTSurv obtained an area under the curve of receiver operating characteristic curve (AUC-ROC) of 0.86, which is an improvement of 3.6% over baseline of multilayer perceptron (MLP) without notes. For survival analysis, BERTSurv achieved a concordance index (C-index) of 0.7. In addition, visualizations of BERT's attention heads help to extract patterns in clinical notes and improve model interpretability by showing how the model assigns weights to different inputs.

研究の動機と目的

• 非構造化臨床ノートと構造化測定値を統合した創傷患者の予後予測を目的としたディープラーニングフレームワークの開発。
• 従来の生存モデルがテキスト形式の臨床ノートを組み込んでいないというギャップを埋める。
• BERTベースの表現学習を用いて、死亡予測と生存分析の精度を向上させる。
• 臨床ノート内の注目パターンの可視化を通じて、モデルの解釈可能性を向上させる。
• MIMIC-III創傷患者データを用いて、フレームワークの評価を実施。

提案手法

• BERTSurvは、微調整されたBERTを用いて非構造化臨床ノートを文脈的埋め込みに変換する。
• ICU入室後4時間以内の臨床測定値を平均化し、BERT埋め込みと連結する。
• 死亡予測（二値アウトカム）にはバイナリクロスエントロピー（BCE）損失を用いる。
• 生存分析（イベントまでの時間）には部分ログリクアリティ（PLL）損失を用いる。
• BERT内の自己注意機構を可視化し、モデル意思決定の解釈と臨床的に関連するパターンの抽出を実施する。
• 21の臨床測定値と4つのデモグラフィック特徴を有するMIMIC-III創傷患者データを用いて、モデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのモデルは、非構造化臨床ノートと構造化測定値を効果的に統合し、創傷患者の生存予測を改善できるか？
• RQ2 BERTを介して臨床ノートを統合することで、構造化データのみを用いるモデルに比べて顕著な性能向上が達成できるか？
• RQ3 BERTにおける注目可視化は、患者の予後と相関する臨床的に意味のあるノート内のパターンを特定するのに役立つのか？
• RQ4 Cox回帰などの伝統的生存モデルと比較して、BERTSurvの予測性能はどのように異なるか？
• RQ5 臨床テキストの注目ヘッド解析を通じて、モデルの解釈性はどの程度向上するか？

主な発見

• BERTSurvは死亡予測においてAUC-ROCが0.86を達成し、臨床ノートを含まないマルチレイヤーパーセプトロンベースラインより3.6%の向上を示した。
• 生存分析において、BERTSurvは妥協指数（C-index）0.7を達成し、C-index 0.68を示したCoxモデルを上回った。
• 注目可視化により、早期に死亡した患者のノートで「重度の胸部外傷」などの臨床的に関連するフレーズに高い注目重みが割り当てられていることが明らかになった。
• モデルは、早期死亡の患者のノートにおいて「重度の胸部」と「外傷」のパターンを特定し、重症状態を示すものであった。
• 対照的に、後期に退院した患者は、ノート内で「良好」や「良好な姿勢」などの肯定的用語に注目が集まっていた。
• BERTと臨床測定値の統合により、創傷予後モデリングにおける予測性能と解釈可能性が顕著に向上した。