[論文レビュー] CODER: Knowledge infused cross-lingual medical term embedding for term normalization

Zheng Yuan, Zhengyun Zhao+4 more|arXiv (Cornell University)|Nov 5, 2020

Biomedical Text Mining and Ontologies被引用数 5

ひとこと要約

CODERは、医学的知識グラフ上で対照的学習フレームワークを提案し、語彙正規化のための多言語医学用語埋め込みを生成する。統合医療用語語彙体系（UMLS）の関係および三項組み合わせを活用することで、最先端の生物学的埋め込みよりも、ゼロショット語彙正規化、意味的類似性、関係分類タスクで優れた性能を発揮する意味的に豊富で整合性のある表現を学習する。

ABSTRACT

This paper proposes CODER: contrastive learning on knowledge graphs for cross-lingual medical term representation. CODER is designed for medical term normalization by providing close vector representations for different terms that represent the same or similar medical concepts with cross-lingual support. We train CODER via contrastive learning on a medical knowledge graph (KG) named the Unified Medical Language System, where similarities are calculated utilizing both terms and relation triplets from KG. Training with relations injects medical knowledge into embeddings and aims to provide potentially better machine learning features. We evaluate CODER in zero-shot term normalization, semantic similarity, and relation classification benchmarks, which show that CODERoutperforms various state-of-the-art biomedical word embedding, concept embeddings, and contextual embeddings. Our codes and models are available at https://github.com/GanjinZero/CODER.

研究の動機と目的

• 低リソース環境における多言語医学用語正規化の課題に対処すること。
• 医学的知識グラフからの構造化された知識を統合することで、医学用語の意味的表現を向上させること。
• 共有されたベクトル空間を用いて、微調整なしに多言語間で語彙正規化のゼロショット転送を可能にすること。
• UMLSからの関係情報を取り入れることで、生物学的単語埋め込みの品質を向上させること。

提案手法

• CODERは、多言語間で意味的に関連する医学用語の類似度を最大化することで、埋め込みを最適化するための対照的学習を採用する。
• 統合医療用語語彙体系（UMLS）の知識グラフから得られる用語および関係三項組み合わせを用いて、ポジティブペアを構築する。
• ポジティブペア間の対照的損失を最小化し、ネガティブペア間で最大化することで、統合表現を学習する。
• 埋め込み空間における意味的特徴を豊かにするために、用語レベルと関係レベルの両方の信号を統合する。
• 多文およびマルチホップの関係的パターンを活用することで、多様な医学的概念にわたる一般化を向上させる。
• 最終的な埋め込みは、語彙正規化、類似性、関係分類ベンチマークにおけるゼロショット転送によって評価される。

実験結果

リサーチクエスチョン

• RQ1 医学的知識グラフ上で対照的学習を適用することで、正規化のための多言語医学用語表現が向上するか？
• RQ2 UMLSからの関係的知識を統合することで、生物学的単語埋め込みの品質にどのような影響を与えるか？
• RQ3 提案されたモデルは、微調整なしにどの程度多言語間でゼロショット語彙正規化を実現できるか？
• RQ4 用語と関係の信号を統合することで、意味的類似性および関係分類のパフォーマンスが向上するか？
• RQ5 下流タスクにおいて、CODERは最先端の生物学的およびコンテキスト依存埋め込みと比較してどのように差をつけるか？

主な発見

• CODERは、複数の言語でゼロショット医学用語正規化において最先端のパフォーマンスを達成し、既存の生物学的単語埋め込みおよびコンテキストモデルを上回る。
• 意味的類似性タスクにおいて顕著な向上を示しており、埋め込み空間内での意味的に関連する医学用語の整合性が向上していることが示唆される。
• 関係分類において、ベースラインモデルよりも高いF1スコアを達成しており、強化された関係的推論能力が裏付けられている。
• UMLS関係三項組み合わせの統合は、特に低リソースの多言語環境において、埋め込み品質の向上に顕著な効果をもたらす。
• CODERの対照的学習目的は、言語間での意味的および文法的変異を効果的に捉えており、頑健なゼロショット転送を可能にしている。
• 評価されたすべてのベンチマークで、モデルのパフォーマンスは一貫して優れており、対照的学習による知識統合の有効性が裏付けられている。