[論文レビュー] Biomedical Entity Linking with Contrastive Context Matching

Shogo Ujiie, Hayate Iso+1 more|arXiv (Cornell University)|Jun 14, 2021

Biomedical Text Mining and Ontologies参考文献 23被引用数 4

ひとこと要約

BioCoM は、わずかな語彙辞書と生の PubMed 論文のみを用いて、文脈に配慮したモデルを学習する対照的学習フレームワークである。語彙辞書に一致する文を用いて訓練インスタンスを構築し、文脈表現における対照的学習を活用することで、特にリソースが限られた状況下でも最先端の性能を達成し、3つのベンチマークデータセットにおいて、先行手法を大きく上回った。

ABSTRACT

We introduce BioCoM, a contrastive learning framework for biomedical entity linking that uses only two resources: a small-sized dictionary and a large number of raw biomedical articles. Specifically, we build the training instances from raw PubMed articles by dictionary matching and use them to train a context-aware entity linking model with contrastive learning. We predict the normalized biomedical entity at inference time through a nearest-neighbor search. Results found that BioCoM substantially outperforms state-of-the-art models, especially in low-resource settings, by effectively using the context of the entities.

研究の動機と目的

• 手動でアノテートされたデータが利用できない状況下でも効果的に機能する生物医学的エンティティ正規化手法の開発を目的とする。
• 小さな語彙辞書における同義語カバレッジの制限にもかかわらず、生物医学的知識グラフ内の統一された概念に疾患の表記をリンクする課題に対処することを目的とする。
• 直接的な同義語マッチが欠落している場合でも、周囲のテキストからの文脈的手がかりを活用してエンティティリンキングのパフォーマンスを向上させることを目的とする。
• 大規模なアノテート済みデータセットや広範な知識グラフに依存しないようにすることで、実世界の医療 NLP 応用に実用的であることを目的とする。
• 生のテキストから学習した文脈に配慮した表現が、リソースが制限された状況下でもエンティティリンキングの正確性を顕著に向上させられることを示すこと

提案手法

• 生の PubMed 論文からのエンティティ表記を小さな生物医学的語彙辞書に照合することで、エンティティリンキング文のコーパスを構築し、訓練インスタンスを生成する。
• 文脈表現を用いて正しいエンティティ・コンセプトペアとネガティブペアを区別できるように、文脈に配慮したモデルを対照的学習で訓練する。
• PubMedBERT を用いてエンティティ表記とその周囲の文をエンコードし、[ENT] トークンの埋め込みから文脈表現を抽出する。
• 推論時、学習済みの文脈表現を用いて埋め込み空間における最近傍探索により入力エンティティを正規化する。
• エンティティ表記の同定を保証するため、最長一致アルゴリズムを活用して、入力表記と語彙辞書エントリとの整合性を確保する。
• 開発セットのパフォーマンスを最適化するために、最近傍数（k=15）などのハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 わずかな語彙辞書と生の PubMed 論文のみを用いて、手動でアノテートされたデータが一切ない状況下でも、生物医学的エンティティリンキングモデルが最先端の性能を達成できるか？
• RQ2 語彙辞書に同義語が欠落している場合でも、周囲の文の文脈的情報を組み込むことで、エンティティリンキングの正確性がどの程度向上するか？
• RQ3 自動的に構築された語彙辞書に一致する文を用いた対照的学習が、従来の自己教師ありまたは教師ありベースラインと比較して、より優れた文脈表現を生成するか？
• RQ4 語彙辞書内の同義語数を減らした場合（低リソース状況を模倣）、モデルのパフォーマンスはどの程度低下するか、あるいは安定性を保つか？
• RQ5 埋め込み空間における最近傍探索による文脈マッチングは、同義語マッチや固定埋め込みに依存するモデルと比較して、どの程度優れているか？

主な発見

• BioCoM は NCBID で 60.3%、BC5CDR-d で 69.0%、MedMentions-d で 71.4% の正確性を達成し、SapBert や PubMedBERT を含むすべてのベースラインを大きく上回った。
• MedMentions-d では 71.4% の正確性を達成し、SapBert（65.1%）に対して 6.3 ポints、PubMedBERT（45.2%）に対して 26.2 ポイントの改善を示した。
• 語彙辞書のサイズを 39,959 個に縮小した場合でも、BioCoM は強力なパフォーマンスを維持し、他のモデルと比較して低リソース状況下での優れたロバスト性を示した。
• 定性的分析の結果、BioCoM は文の文脈的手がかり（例：「遺伝的転座」）を活用して 'B-ALL' を 'B-cell 急性リンパ性白血病' に正しくリンクしたが、SapBert は文脈認識の欠如により失敗した。
• 1 件の誤りは、最長一致アルゴリズムに起因する不一致に起因しており、'non-small-cell lung carcinoma' ではなく 'renal cell carcinomas' が誤ってマッチした。これは、表記認識における限界を示している。
• 結果から、生のテキストから対照的学習で学習した文脈に配慮した表現が、大規模なアノテーションや広範な知識グラフがなくても、生物医学的エンティティリンキングに顕著に効果的であることが確認された。