[論文レビュー] Self-Attention Enhanced Patient Journey Understanding in Healthcare System

Xueping Peng, Guodong Long+3 more|arXiv (Cornell University)|Jun 15, 2020

Machine Learning in Healthcare参考文献 34被引用数 5

ひとこと要約

本稿では、患者、訪問、医療コードの3レベルの電子歴史記録（EHR）データにおける時間的・文脈的関係をモデル化するため、マスクド自己注意（mSA）を活用したマルチレベル自己注意ネットワーク、MusaNetを提案する。この手法は、実世界のデータセットにおいて再入院予測および診断予測の分野で最先端の性能を達成し、SOTAベースライン比で最大2.83%の精度向上を実現した。

ABSTRACT

Understanding patients' journeys in healthcare system is a fundamental prepositive task for a broad range of AI-based healthcare applications. This task aims to learn an informative representation that can comprehensively encode hidden dependencies among medical events and its inner entities, and then the use of encoding outputs can greatly benefit the downstream application-driven tasks. A patient journey is a sequence of electronic health records (EHRs) over time that is organized at multiple levels: patient, visits and medical codes. The key challenge of patient journey understanding is to design an effective encoding mechanism which can properly tackle the aforementioned multi-level structured patient journey data with temporal sequential visits and a set of medical codes. This paper proposes a novel self-attention mechanism that can simultaneously capture the contextual and temporal relationships hidden in patient journeys. A multi-level self-attention network (MusaNet) is specifically designed to learn the representations of patient journeys that is used to be a long sequence of activities. The MusaNet is trained in end-to-end manner using the training data derived from EHRs. We evaluated the efficacy of our method on two medical application tasks with real-world benchmark datasets. The results have demonstrated the proposed MusaNet produces higher-quality representations than state-of-the-art baseline methods. The source code is available in https://github.com/xueping/MusaNet.

研究の動機と目的

• 長期間にわたる依存関係や不規則な訪問インターバルを有する、マルチレベルで時系列構造を持つEHRデータを効果的にモデル化する課題に対処すること。
• RNNやCNNが患者の経路における長期的な時系列的依存関係や文脈的関係を捉えることの限界を克服すること。
• 時系列情報を保持し、説明可能な表現学習を可能にするエンドツーエンドの注意ベースのモデルを構築すること。
• より豊富で文脈に配慮した患者埋め込みを用いることで、再入院や診断予測などの下流臨床予測タスクを改善すること。
• 訪問間の時間的ギャップを明示的にモデル化するとともに、文脈的依存関係を捉える、新たなマスクド自己注意メカニズムを導入すること。

提案手法

• 患者の経路における訪問間の文脈的および時間的関係を捉えるマスクド自己注意（mSA）メカニズムを提案する。
• 医療コードを訪問レベルに集約し、訪問を患者レベルの表現に集約する階層的注意プーリングを備えたマルチレベル自己注意ネットワーク（MusaNet）を設計する。
• 連続する訪問間の時間的ギャップを明示的にモデル化するためのインターバルエンコーディングを統合し、時系列モデリングを強化する。
• 自己注意層を用いて訪問間で動的注意重みを計算し、長期的な依存関係を効果的に捉える。
• 医療コードおよび訪問用の学習可能な埋め込みを採用し、順序を保持するための位置エンコーディングを適用する。
• 下流予測タスクのための教師あり損失関数を用いて、ネットワーク全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己注意ベースのモデルは、マルチレベルEHRデータにおける長期的な時系列的および文脈的依存関係を効果的に捉えることができるか？
• RQ2 不規則な訪問インターバルを有する患者の経路シーケンスをモデル化する際、提案されたマスクド自己注意メカニズムはRNNやCNNに比べてどのように優れているか？
• RQ3 SOTA手法と比較して、MusaNetは再入院や診断予測といった臨床予測タスクの性能をどの程度向上させるか？
• RQ4 MusaNetの注意重みは、将来の健康状態に予測的であるとされる特定の訪問や診断を、解釈可能な形で特定できるか？
• RQ5 インターバルエンコーディングの統合は、EHRシーケンスにおける時系列ダイナミクスのモデル化能力を顕著に向上させるか？

主な発見

• Dxデータセットにおいて、MusaNetはSOTAベースライン比で再入院予測の精度を2.83%向上させた。
• Dx&Txデータセットでは、最高性能を示したベースライン比で再入院予測精度を1.07%向上させた。
• Dxデータセットでは診断予測のprecision@5を2.2%向上させ、Dx&Txデータセットではprecision@30を1.4%向上させた。
• 注意可視化の結果、特定の訪問（例：ICDコード585.6（末期腎疾患）を有する訪問1）が将来の再入院に強く予測的であることが判明した。
• 長期的インスリン使用（ICD V58.6.7）や高コレステロール血症（ICD 272.0）といった主要な診断が、個別症例における再入院リスクの主な要因であると同定された。
• 注意ヒートマップによる検証により、MusaNetの解釈可能性が裏付けられ、臨床的に関連性の高い訪問や診断を高解釈性で強調できることを示した。