Skip to main content
QUICK REVIEW

[論文レビュー] Contrastive Learning of Temporal Distinctiveness for Survival Analysis in Electronic Health Records

Mohsen Nayebi Kerdabadi, Arya Hadizadeh Moghaddam|arXiv (Cornell University)|Aug 24, 2023
Machine Learning in HealthcareComputer Science被引用数 3
ひとこと要約

本稿では、生存期間の差異に基づいて硬さに配慮したネガティブペアを構築する、時間的特徴の明確さを活用した電子歴史記録(EHR)における生存分析のための新規対照学習フレームワーク、OTCSurvを提案する。Ontologyに配慮した順序付きエンコーダーと監視付き重み付き対照損失を統合することで、リスク順序付けと時間予測の両方を向上させ、注意機構を用いた分析により解釈性を高めた。AKI予測において最先端の性能を達成した。

ABSTRACT

Survival analysis plays a crucial role in many healthcare decisions, where the risk prediction for the events of interest can support an informative outlook for a patient's medical journey. Given the existence of data censoring, an effective way of survival analysis is to enforce the pairwise temporal concordance between censored and observed data, aiming to utilize the time interval before censoring as partially observed time-to-event labels for supervised learning. Although existing studies mostly employed ranking methods to pursue an ordering objective, contrastive methods which learn a discriminative embedding by having data contrast against each other, have not been explored thoroughly for survival analysis. Therefore, in this paper, we propose a novel Ontology-aware Temporality-based Contrastive Survival (OTCSurv) analysis framework that utilizes survival durations from both censored and observed data to define temporal distinctiveness and construct negative sample pairs with adjustable hardness for contrastive learning. Specifically, we first use an ontological encoder and a sequential self-attention encoder to represent the longitudinal EHR data with rich contexts. Second, we design a temporal contrastive loss to capture varying survival durations in a supervised setting through a hardness-aware negative sampling mechanism. Last, we incorporate the contrastive task into the time-to-event predictive task with multiple loss components. We conduct extensive experiments using a large EHR dataset to forecast the risk of hospitalized patients who are in danger of developing acute kidney injury (AKI), a critical and urgent medical condition. The effectiveness and explainability of the proposed model are validated through comprehensive quantitative and qualitative studies.

研究の動機と目的

  • 既存の生存モデルが打ち切りデータを処理する際の限界と、縦断的EHRから判別的な患者表現を学習する能力の不足に取り組む。
  • 特に生存期間の差を根拠としてネガティブサンプリングの硬さを定義する対照学習を生存分析に応用することを検討する。
  • マルチタスク学習アプローチを用いて、リスク順序付けと正確な時間予測の両方を向上させる。
  • 注目メカニズムを活用して患者履歴における重要な訪問や医療コードを強調することで、モデルの解釈性を向上させる。
  • 医療Ontology知識を表現学習に統合し、特に稀またはスパarsな医療コードにおいて一般化性能を向上させる。

提案手法

  • モデルは二重エンコーダー構造を採用:ICD-9コードを階層的医療概念にマップするOntologyエンコーダーと、患者訪問の時間的依存性をモデル化する順序付き自己注意エンコーダー。
  • 生存期間の差に基づいて患者埋め込みを対照する監視付き重み付き対照損失(SupWCon)を設計。ペア間の時間差に応じて温度パラメータを調整し、サンプリングの硬さを反映させる。
  • 打ち切り済みおよび観測済み患者の生存期間を用いてネガティブペアを構築し、時間予測差が対照学習に反映されるようにする。
  • 三つの目的を同時に最適化:SupWConによる対照的表現学習、コンcordanceのための順序付け損失、時間予測のための回帰損失。
  • インスタンスレベルおよび訪問レベルの注目プーリング機構を用いて、訪問および個々の医療コードに対する解釈可能な注目重みを生成。
  • Ontologyエンコーダーは医療Ontology(例:ICD-9)内の階層的関係を活用し、より広範な親概念に注目することで、稀または低頻度のコードの表現を向上させる。
Figure 1. Architecture of the proposed OTCSurv model. There are three main components: 1) Sequential attention-based ontological encoder, which mainly consists of an ontological encoder, two attention-pooling blocks, and a transformer encoder to learn the ultimate instance-level representations of p
Figure 1. Architecture of the proposed OTCSurv model. There are three main components: 1) Sequential attention-based ontological encoder, which mainly consists of an ontological encoder, two attention-pooling blocks, and a transformer encoder to learn the ultimate instance-level representations of p

実験結果

リサーチクエスチョン

  • RQ1生存期間の差異(時間的特徴の明確さ)に基づく対照学習は、EHRの生存分析における表現学習を向上させることができるか?
  • RQ2ネガティブサンプリングの硬さに生存期間の差を組み込むことで、一様またはランダムなネガティブサンプリングと比較してモデル性能がどのように向上するか?
  • RQ3医療Ontology知識を統合することで、EHRにおける稀またはスパースな医療コードの表現品質がどの程度向上するか?
  • RQ4対照的、順序付け、回帰損失を統合したマルチタスク学習フレームワークは、リスク順序付けと時間予測精度の両方を同時に向上させることができるか?
  • RQ5モデル内の注目重みは、臨床的に意味のあるパターン(例:重要な訪問や高影響力の診断)をどのように反映しており、患者レベル意思決定に寄与しているか?

主な発見

  • OTCSurvは、大規模な実世界のEHRデータセットにおいてAKI予測で最先端の性能を達成し、c-indexと時間予測精度の両面で既存手法を上回った。
  • 提案されたSupWCon損失は、生存期間の差に応じて対照温度を動的に調整することで、ハードネガティブペアからの学習を強化し、モデル性能を顕著に向上させた。
  • 注目分析により、注目重みが高く、AKI発症に予測的であると判明したのは訪問5およびコード572(肝疾患)、410(心筋梗塞)、287(出血状態)であった。これは臨床文献と整合的であった。
  • Ontologyエンコーダーは、より頻度の高い親概念に注目することで、稀なコード(例:ICD-9コード514)の表現を効果的に向上させた(例:祖先コード460-519を介して注目)。
  • アブレーションスタディにより、対照損失やOntologyコンponentを削除すると性能が著しく低下し、それらの貢献が裏付けられた。
  • モデルは強力な解釈性を示し、注目重みが明確に臨床的に関連する訪問や診断を特定しており、臨床的信頼性と透明性を支えるものであった。
Figure 2. Comparison of the mean survival curves of proposed model and baselines with Kaplan-Meier curve (for all patients).
Figure 2. Comparison of the mean survival curves of proposed model and baselines with Kaplan-Meier curve (for all patients).

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。