[論文レビュー] Learning Domain-Specialised Representations for Cross-Lingual Biomedical Entity Linking

Fangyu Liu, Ivan Vulić+2 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 22被引用数 5

ひとこと要約

本稿は、10の言語をカバーするクロスリンガルバイオメディカルエンティティリンキング（XL-BEL）タスクとベンチマークを提案し、UMLS経由で英語から低リソース言語へドメイン固有の知識を転送するための多言語拡張版自己整合事前学習（SAP）を導入する。UMLSの同義語と一般ドメインの翻訳データを組み合わせることで、対象言語にドメイン特化データや並列コーパスが存在しない状況下でも、タイ語などリソースが乏しい言語でPrecision@1が最大20ポイント向上することを示している。

ABSTRACT

Injecting external domain-specific knowledge (e.g., UMLS) into pretrained language models (LMs) advances their capability to handle specialised in-domain tasks such as biomedical entity linking (BEL). However, such abundant expert knowledge is available only for a handful of languages (e.g., English). In this work, by proposing a novel cross-lingual biomedical entity linking task (XL-BEL) and establishing a new XL-BEL benchmark spanning 10 topologically diverse languages, we first investigate the ability of standard knowledge-agnostic as well as knowledge-enhanced monolingual and multilingual LMs beyond the standard monolingual English BEL task. The scores indicate large gaps to English performance. We then address the challenge of transferring domain-specific knowledge in resource-rich languages to resource-poor ones. To this end, we propose and evaluate a series of cross-lingual transfer methods for the XL-BEL task, and demonstrate that general-domain bitext helps propagate the available English knowledge to languages with little to no in-domain data. Remarkably, we show that our proposed domain-specific transfer methods yield consistent gains across all target languages, sometimes up to 20 Precision@1 points, without any in-domain knowledge in the target language, and without any in-domain parallel data.

研究の動機と目的

• 英語以外の言語におけるバイオメディカルエンティティリンキング（BEL）の性能格差を調査すること。
• 多様な文法的特徴を持つ10言語をカバーするクロスリンガルBELベンチマークを確立し、多言語バイオメディカル表現学習の評価を可能とすること。
• リソース豊富な言語（例：英語）からリソースが乏しい言語へドメイン固有の知識を転送するクロスリンガル転移手法の開発と評価すること。
• 一般ドメインの翻訳データが、リソースが乏しい言語におけるバイオメディカル知識のゼロショットクロスリンガル転送を顕著に改善できるかどうかを実証すること。
• ターゲット言語にドメイン特化データや並列単語帳データを必要とせずに、クロスリンガルバイオメディカルエンティティリンキングで最先端の性能を達成すること。

提案手法

• 英語以外の言語も含む複数の言語でUMLSの同義語セットを用いて、多言語モデルをファインチューニングする自己整合事前学習（SAP）の多言語拡張を提案する。
• 同じCUIを共有する同義語の表現が、言語にかかわらず類似するよう促すために、三重項マイニング（アングラ、ポジティブ、ネガティブ）を用いたトレーニング方式を導入する。
• UMLSの同義語と、ビテキストからの一般ドメインの単語・フレーズ翻訳を組み合わせ、重み付き結合戦略を用いてSAPフレームワークを強化する。
• 対照的損失を用いたメトリクス学習により、言語を越えて同義語となる語句の表現を一致させつつ、意味的同一性を保持する。
• XLM-RoBERTaとmBERTのベース版およびラージ版を評価し、2段階のトレーニング設定でUMLS同義語データと翻訳データを用いてファインチューニングする。
• モデルがメンションと候補エンティティをエンコードするデュアルブランチアーキテクチャを採用し、類似度スコアを計算して正しいCUIを予測する。

実験結果

リサーチクエスチョン

• RQ1 mBERT や XLM-R といった標準的な多言語言語モデルは、ドメイン特化ファインチューニングなしでクロスリンガルバイオメディカルエンティティリンキングで優れた性能を達成できるか？
• RQ2 英語（UMLS経由）から得られるドメイン固有の知識は、クロスリンガルバイオメディカルNLPにおいて、リソースが乏しい言語へどの程度転送可能か？
• RQ3 一般ドメインの翻訳データを組み込むことで、リソースが乏しい言語におけるバイオメディカルエンティティ表現のクロスリンガル整合性が向上するか？
• RQ4 UMLS同義語セットの異なる組み合わせ（例：英語のみ vs. 多言語）が、クロスリンガル転移性能に与える影響は何か？
• RQ5 XLM-RoBERTa LARGE といった大規模な多言語モデルは、知識注入を組み合わせた場合、リソースが乏しい環境で小規模モデルを上回る性能を示せるか？

主な発見

• UMLS同義語の完全なファインチューニング（SAPall syn）を施したXLM-RoBERTaは、英語で56.4%のPrecision@1、10言語平均で35.1%を達成し、vanilla mBERT や XLM-R を顕著に上回る性能を示した。
• UMLSにカバーされていないタイ語（TH）では、一般ドメイン翻訳データを用いたSAPall synにより30.9%のPrecision@1を達成し、ベースラインから19.4ポイントの向上を示した。
• 一般ドメイン翻訳データの追加により、一部の言語で最大12.7%の向上が得られ、ロシア語、トルコ語、韓国語、タイ語では10ポイント以上の改善が確認された。
• 全利用可能な同義語データ（SAPall syn）を用いたモデルは、英語のみまたは言語固有の同義語のみを用いたバージョンを常に上回り、より広範な同義語カバレッジが転移性能を向上させることを示した。
• SAPファインチューニングを施したXLM-RoBERTa LARGEは、英語で78.3%のPrecision@1、10言語平均で39.0%を達成し、大規模モデルがリソースが乏しい環境で知識注入によりより大きな恩恵を受けることが示された。
• 提案手法は、ターゲット言語にドメイン特化データや並列単語帳データを必要とせず、XL-BELで最先端の結果を達成した。