[論文レビュー] Transfer Learning in Electronic Health Records through Clinical Concept Embedding

José Roberto Ayala Solares, Yajie Zhu+7 more|arXiv (Cornell University)|Jul 27, 2021

Machine Learning in Healthcare参考文献 61被引用数 4

ひとこと要約

本研究では、310万件の患者にわたるEHRデータセットを用いて、最先端の疾患埋め込みモデルを訓練することで、電子歴史記録（EHR）における臨床的概念埋め込みの評価のための包括的なフレームワークを提案する。トランスファーラーニングを活用し、定量的および定性的なベンチマーク手法を導入し、事前学習済み埋め込みを公開することで、多様な臨床タスクにおけるトランスファーラーニングのパフォーマンスが顕著に向上する。

ABSTRACT

Deep learning models have shown tremendous potential in learning representations, which are able to capture some key properties of the data. This makes them great candidates for transfer learning: Exploiting commonalities between different learning tasks to transfer knowledge from one task to another. Electronic health records (EHR) research is one of the domains that has witnessed a growing number of deep learning techniques employed for learning clinically-meaningful representations of medical concepts (such as diseases and medications). Despite this growth, the approaches to benchmark and assess such learned representations (or, embeddings) is under-investigated; this can be a big issue when such embeddings are shared to facilitate transfer learning. In this study, we aim to (1) train some of the most prominent disease embedding techniques on a comprehensive EHR data from 3.1 million patients, (2) employ qualitative and quantitative evaluation techniques to assess these embeddings, and (3) provide pre-trained disease embeddings for transfer learning. This study can be the first comprehensive approach for clinical concept embedding evaluation and can be applied to any embedding techniques and for any EHR concept.

研究の動機と目的

• 臨床的概念埋め込みの標準化された評価手法の欠如が、有効なトランスファーラーニングを阻害しているという問題に対処する。
• 310万件の患者にわたる大規模なEHRデータセットを用いて、スイプグラム、CBOW、BEHRTなどの代表的な疾患埋め込み手法を訓練する。
• 学習された埋め込みの臨床的意味性と有用性を評価するために、定性的および定量的評価手法を開発・適用する。
• 公開用に事前学習済み疾患埋め込みをリリースし、臨床機械学習における再現可能でスケーラブルなトランスファーラーニングを可能にする。
• あらゆる埋め込み手法およびEHR概念タイプに適用可能なベンチマークフレームワークを確立し、臨床表現学習における一貫性と品質を促進する。

提案手法

• 診断、薬剤、手術記録を含む、匿名化されたEHRデータセットを用いて、スイプグラム、CBOW、BEHRTなどの深層学習ベースの埋め込みモデルを訓練した。
• 臨床的概念埋め込みの意味的整合性を向上させるために、コントラスト学習と患者レベルの表現学習を採用した。
• ベクトル空間における疾患埋め込みの類似度を評価するためにコサイン類似度を適用し、ICD-10の階層的関係と比較した。
• 疾患予測などの予測モデリングタスクを用いて、埋め込みの下流臨床応用における有用性を検証した。
• 類似した疾患（例：関連するICD-10コード）がクラスタリングされるかを確認するため、埋め込みクラスタの可視化による定性的分析を実施した。
• 内在的（埋め込み内類似度）および外在的（下流予測性能）の両方の評価指標を用いて、モデルをベンチマーク化した。

実験結果

リサーチクエスチョン

• RQ1 スイプグラム、CBOW、BEHRTなどの異なる疾患埋め込みモデルは、EHRデータにおける診断間の臨床的に意味のある関係をどの程度適切に捉えられるか？
• RQ2 コサイン類似度を用いて測定した場合、学習された埋め込みは既知のICD-10階層的関係をどの程度反映しているか？
• RQ3 提案された評価フレームワークは、多様な臨床概念において、高品質な埋め込みと劣悪な埋め込みを信頼性高く区別できるか？
• RQ4 事前学習済み埋め込みは、ベースラインの特徴工学手法と比較して、下流の臨床予測タスクにおけるトランスファーラーニングパフォーマンスをどの程度向上させるか？
• RQ5 シーケンスモデリングやコントラスト学習などの異なるトレーニング戦略は、臨床的概念埋め込みの品質および汎用性にどのような影響を及ぼすか？

主な発見

• BEHRTは、『M54: 背痛』に最も近い10件の類似疾患との間で、コサイン類似度0.98563を達成し、臨床的に関連する状態と強い意味的整合性を示した。
• NCFモデルは『M54: 背痛』に対してコサイン類似度0.98303を達成し、ベクトル空間内での疾患の近接性を強く捉えていた。
• 『R10: 腹部および骨盤部の痛み』に対して、AEモデルは『K58: 憩し性腸症候群』をトップマッチとして特定し、コサイン類似度0.91692を示した。これは強い臨床的関連性を示唆した。
• CBOWAモデルは『R19: 消化器系および腹部の他の症状・所見』とコサイン類似度0.67008を示し、中程度のがくつろびながらも意味のあるクラスタリングを示した。
• BEHRTは『R21: 皮膚症状および他の非特異的皮膚障害』とコサイン類似度0.30496を示し、弱いが依然として妥当な関連性を示した。
• 本研究では、コントラスト学習およびシーケンスベースの目的関数を用いて学習された埋め込み（例：BEHRT）が、伝統的手法（例：CBOW）を上回り、特に複雑または非特異的な症状において臨床的に関連する関係をよりよく捉えられることを示した。