[論文レビュー] Snomed2Vec: Random Walk and Poincar\\'e Embeddings of a Clinical Knowledge Base for Healthcare Analytics

Khushbu Agarwal, Tome Eftimov+4 more|arXiv (Cornell University)|Jul 19, 2019

Machine Learning in Healthcare被引用数 7

ひとこと要約

本稿では、SNOMED-CT におけるランダムウォークとポアンカレ埋め込みを活用した、グラフベースの表現学習フレームワークである Snomed2Vec を提案する。ポアンカレ埋め込みは、Med2Vec や CUI2Vec といった最先端手法を著しく上回り、概念類似度で 5–6 倍の向上、患者の診断予測で 6–20% の向上を達成した。

ABSTRACT

Representation learning methods that transform encoded data (e.g., diagnosis and drug codes) into continuous vector spaces (i.e., vector embeddings) are critical for the application of deep learning in healthcare. Initial work in this area explored the use of variants of the word2vec algorithm to learn embeddings for medical concepts from electronic health records or medical claims datasets. We propose learning embeddings for medical concepts by using graph-based representation learning methods on SNOMED-CT, a widely popular knowledge graph in the healthcare domain with numerous operational and research applications. Current work presents an empirical analysis of various embedding methods, including the evaluation of their performance on multiple tasks of biomedical relevance (node classification, link prediction, and patient state prediction). Our results show that concept embeddings derived from the SNOMED-CT knowledge graph significantly outperform state-of-the-art embeddings, showing 5-6x improvement in ``concept similarity" and 6-20\\% improvement in patient diagnosis.

研究の動機と目的

• SNOMED-CT という大規模な臨床知識グラフから医療的概念の埋め込みを学ぶための再現可能でオープンソースのフレームワークを開発すること。
• ノード2vec、メタパス2vec、ポアンカレ埋め込みといったグラフベースの埋め込み手法が、臨床的に関連する下流タスクでどのように性能を発揮するかを評価すること。
• 知識グラフ駆動の埋め込みが、Med2Vec や CUI2Vec といった既存の EHR ベースの手法よりも、正確性および階層的推論能力において優れていることを実証すること。
• 公開利用を促進し、保健医療分析分野における再現性と広範な採用を可能にするために、事前学習済みの埋め込みとコードを提供すること。

提案手法

• 局所的およびグローバルなグラフ構造を保持するように、ランダムウォークに基づくサンプリングを用いたノード2vecを適用し、SNOMED-CT の概念の低次元ベクトル表現を学習する。
• 特定の意味的経路（例：'isa' や 'related_to'）に沿ってランダムウォークを制約することで、メタパス2vec を用いて SNOMED-CT の多関係的依存性をモデル化する。
• 木構造のオントロジーに理論的に適した双曲空間で階層的構造をモデル化するため、ポアンカレ埋め込みを用いる。
• 正例と負例のリンク予測ペairをバランスさせるために、SNOMED-CT の 470 万の関係を用いて学習データを構築し、ネガティブサンプリングを実施する。
• MIMIC-III EHR データセットの ICD-9 コードを CCS オントロジーを用いて SNOMED-CT の概念にマッピングし、患者状態予測を可能にする。
• ノード分類（43 個の意味的タイプ）、リンク予測（SVM 分類器）、概念類似度（ブートストラップリサンプリング）、患者の診断予測（マルチラベル分類）を用いて埋め込みを評価する。

実験結果

リサーチクエスチョン

• RQ1 SNOMED-CT におけるグラフベースの埋め込み手法は、Med2Vec や CUI2Vec といった EHR ベースの手法を下流の臨床タスクで上回ることができるか？
• RQ2 双曲空間で階層的構造をモデル化するポアンカレ埋め込みは、ユークリッド空間の埋め込みと比較して、臨床的概念の関係をどの程度うまく捉えられるか？
• RQ3 階層的推論を要するタスク（例：ノード分類）と一般的な類似性を要するタスク（例：概念類似度）の両方において、どの埋め込み手法が最も優れた性能を発揮するか？
• RQ4 埋め込み次元が、さまざまな評価タスクにおいて性能にどのように影響を与えるか？
• RQ5 既存の最先端の埋め込みと比較して、SNOMED-CT から導出された埋め込みは、患者状態予測の精度をどの程度向上させるか？

主な発見

• ポアンカレ埋め込みは、マルチラベルノード分類において CUI2vec よりも 50% の精度向上を達成し、Med2Vec よりも数個のオーダーの向上を示し、意味的タイプ予測において優れた性能を発揮した。
• ノード2vec はリンク予測において Med2Vec よりも 15%、CUI2vec よりも 36% の高い性能を示し、長距離および間接的な関係を効果的に捉えられることを示した。
• 概念類似度タスクにおいて、ノード2vec は非階層的関係を意味的グループ全体で評価した際、CUI2vec よりも 5–6 倍の統計的パワーを示した。
• ポアンカレ埋め込みは、CUI2vec（次に優れた手法）よりも診断予測で 6% の向上を達成し、一般的な診断の予測において特に効果的であった。
• メタパス2vec は、最も頻度の高い診断を予測する際、CUI2vec や Med2Vec よりも 20% の高い性能を示し、複雑な関係的パターンのモデル化における強みを示した。
• 最適な埋め込み次元は、ポアンカレ埋め込みとノード2vec では 100 であったが、メタパス2vec は次元にかかわらず一貫した性能を示し、ハイパーパramータの選択に対して頑健であることが示された。