[論文レビュー] Fast and Effective Biomedical Entity Linking Using a Dual Encoder

Rajarshi Bhowmik, Karl Stratos+1 more|arXiv (Cornell University)|Mar 8, 2021

Topic Modeling参考文献 19被引用数 13

ひとこと要約

本稿では、1つの文書に含まれるすべての用語を一度の処理で処理する、BERTに基づくデュアルエンコーダーモデルを提案する。このモデルは、最先端のモデルと比較して、最大25倍の高速な推論を達成するとともに、高い精度を維持する。エンドツーエンドのエンティティリンクを可能にし、同時に用語のスパン検出と分類を実現し、SciSpacy や MedType などのモデルを上回る性能を示す。

ABSTRACT

Biomedical entity linking is the task of identifying mentions of biomedical concepts in text documents and mapping them to canonical entities in a target thesaurus. Recent advancements in entity linking using BERT-based models follow a retrieve and rerank paradigm, where the candidate entities are first selected using a retriever model, and then the retrieved candidates are ranked by a reranker model. While this paradigm produces state-of-the-art results, they are slow both at training and test time as they can process only one mention at a time. To mitigate these issues, we propose a BERT-based dual encoder model that resolves multiple mentions in a document in one shot. We show that our proposed model is multiple times faster than existing BERT-based models while being competitive in accuracy for biomedical entity linking. Additionally, we modify our dual encoder model for end-to-end biomedical entity linking that performs both mention span detection and entity disambiguation and out-performs two recently proposed models.

研究の動機と目的

• 1つの用語ずつ処理する従来のBERTベースのエンティティリンクモデルの非効率性、特に学習および推論の遅延を解消すること。
• 1回のフォワードパスで文書に含まれるすべての用語を一度に解決する集合的エンティティリンクアプローチを開発し、精度を落とさずに高速化すること。
• 1つのデュアルエンコーダーフレームワーク内で、用語スパン検出とエンティティ分類を統合的に学習することで、エンドツーエンドのバイオメディカルエンティティリンクを実現すること。
• 意味的タイプ情報に依存せずに、SciSpacy や MedType などの既存モデルを、エンドツーエンドのエンティティリンクベンチマークで上回ること。
• デュアルエンコーダーを用いた密度的検索が、BM25を上回る再現率を達成しつつ、高速な推論速度を維持できることを示すこと。

提案手法

• モデルはデュアルエンコーダー構造を採用し、用語および候補エンティティ表現をすべてBioBERTで符号化することで、効率的な類似度計算を可能にする。
• 文書に含まれるすべての用語を並列に符号化し、1回のフォワードパスで全用語と知識ベース内の全候補エンティティを比較する。
• 表現品質の向上を目的に、ハードネガティブおよびランダムネガティブサンプリングを用いた対照学習の目的関数で学習を行う。
• エンドツーエンドのリンクのため、用語スパンと対応するエンティティを同時に予測するマルチタスク目的関数で微調整する。
• 推論時に、BIOタギング手法よりも再現率を向上させるために、全可能な用語スパンを列挙する包括的スパン探索を実施する。
• 推論のオーバーヘッドを低減するため、個別の候補検索を回避し、直接的に用語と全エンティティ間の類似度スコアを計算する。

実験結果

リサーチクエスチョン

• RQ1 デュアルエンコーダーモデルは、文書内の複数のエンティティ用語を同時に処理でき、1つの用語ずつのモデルよりも高速な推論を達成できるか？
• RQ2 1回のフォワードパスで行う集合的エンティティリンクは、既存の最先端モデルと比較して、精度を維持または向上できるか？
• RQ3 統合されたデュアルエンコーダーフレームワークは、エンドツーエンドの形で、用語スパン検出とエンティティ分類の両方を効果的に実行できるか？
• RQ4 提案手法の再現率およびF1スコアは、BM25および他の密度的検索ベースラインと比較して、バイオメディカルエンティティリンクベンチマークでどのように異なるか？
• RQ5 多様なエンティティタイプを含むマルチタイプのバイオメディカルデータセットにおいて、専用のモデル（例：TaggerOne）を上回る性能を示せるか？

主な発見

• 提案手法は、最先端のBERTベースのエンティティリンクモデルであるBLINKと比較して、推論時間で最大25倍の高速化を達成した。
• すべての用語をバッチ処理することで、同じパラメータ数の他のデュアルエンコーダーモデルと比較して、学習が3倍速くなった。
• MedMentions データセットでは、開発セットで再現率@10が87.5、テストセットで87.6を達成し、BM25および密度的検索ベースラインを上回った。
• エンドツーエンドのエンティティリンクにおいて、BC5CDR データセットで厳密マッチプロトコル下でF1スコア75.2を達成し、SciSpacy（F1=22.3）および MedType（F1=23.5）を大きく上回った。
• BC5CDR データセットにおいて、包括的スパン探索法はBIOタギング法（F1=30.3）よりも高いF1スコア（75.2）を達成した。これは、計算コストが高めでも効果的であることを示している。
• 意味的タイプ情報を利用せずに、MedMentions データセットでMedTypeおよびSciSpacyをすべての評価指標で上回る優れた性能を達成した。