[論文レビュー] LATTE: Latent Type Modeling for Biomedical Entity Linking

Ming Zhu, Busra Celikkaya+2 more|arXiv (Cornell University)|Nov 21, 2019

Topic Modeling参考文献 26被引用数 4

ひとこと要約

LATTEは、共起注意機構と粗いタイプからの補助的監視を用いて、照合語の潜在的微細タイプとエンティティの潜在的微細タイプを同時に学習することで、意味的曖昧性の解消を向上させる、新しい神経モデルを提案する。このモデルはMedMentionsおよび3DNotesで最先端の性能を達成し、明示的なタイプアノテーションが存在しない状況下でも、暗黙の意味的タイプをモデル化することでMedMentionsにおけるP@1で強力なベースライン比5.8%の絶対的向上を達成した。

ABSTRACT

Entity linking is the task of linking mentions of named entities in natural language text, to entities in a curated knowledge-base. This is of significant importance in the biomedical domain, where it could be used to semantically annotate a large volume of clinical records and biomedical literature, to standardized concepts described in an ontology such as Unified Medical Language System (UMLS). We observe that with precise type information, entity disambiguation becomes a straightforward task. However, fine-grained type information is usually not available in biomedical domain. Thus, we propose LATTE, a LATent Type Entity Linking model, that improves entity linking by modeling the latent fine-grained type information about mentions and entities. Unlike previous methods that perform entity linking directly between the mentions and the entities, LATTE jointly does entity disambiguation, and latent fine-grained type learning, without direct supervision. We evaluate our model on two biomedical datasets: MedMentions, a large scale public dataset annotated with UMLS concepts, and a de-identified corpus of dictated doctor's notes that has been annotated with ICD concepts. Extensive experimental evaluation shows our model achieves significant performance improvements over several state-of-the-art techniques.

研究の動機と目的

• 類似した発音の語句や微細タイプ情報の欠如による、生物医学的エンティティリンキングの曖昧性の課題に対処すること。
• 表面的な特徴だけでは不十分な臨床的・生物医学的テキストにおけるエンティティの曖昧性解消を改善すること。
• 直接的な監視がなくても、粗いタイプの監視を補助的ガイダンスとして用いて、照合語とエンティティの潜在的微細タイプを同時に学習すること。
• 生物医学的NLPにおけるOOV語や省略語の課題を、文字レベルの符号化とタイプベースの照合により克服すること。
• 階層的タイプモデリングと注意に基づく類似度スコアリングを通じて、エンティティリンキングを統合的に向上させるフレームワークの構築

提案手法

• 照合語と候補エンティティの表現に共通のパラメータを持つ二重エンコーダアーキテクチャを採用し、単語および文字の埋め込みを統合する。
• 照合語とエンティティの暗黙の微細タイプを、共起注意メカニズムを用いて学習する潜在タイプエンコーダーを導入する。
• 照合語と候補の潜在タイプ分布間の類似度測定を用いて、曖昧性解消をガイドする。
• 粗いUMLSまたはICDタイプに基づく既知のタイプ分類器を訓練し、潜在タイプ学習のための監視を提供する。
• 共起注意機構を用いて、照合語と候補エンティティ間の文脈に適した類似度を計算し、より良い意味的照合を実現する。
• 最終的なエンティティスコアは、照合語と候補表現のドット積に全結合層を適用し、タイプに配慮した注意を組み合わせて計算する。

実験結果

リサーチクエスチョン

• RQ1 明示的なタイプアノテーションが利用できない状況下でも、潜在的微細タイプをモデル化することで生物医学的エンティティリンキングの性能向上が図れるか？
• RQ2 共起注意機構は、生物医学分野における照合語と候補エンティティ間の意味的類似度を的確に捉えることができるか？
• RQ3 粗いタイプの既知のタイプを補助的監視として組み込むことで、潜在タイプの学習とエンティティリンキングの正確性が向上するか？
• RQ4 潜在タイプモデリングは、生物医学的テキストにおけるOOV語や省略語の課題をどの程度解消できるか？
• RQ5 潜在タイプ＋既知タイプの階層的タイプモデリングは、表面的特徴のみ、または既知タイプのみを用いるモデルと比較して、どの程度優れているか？

主な発見

• LATTEはMedMentionsでP@1が88.46、3DNotesで87.98を達成し、すべてのベースラインおよび最先端モデルを上回った。
• 潜在タイプモデリングを追加したLATTE_base+LTは、ベースモデル比でMedMentionsでP@1が6.07%向上、3DNotesで2.32%向上した。
• 既知タイプの監視を組み込んだLATTE_base+KTは、MedMentionsでP@1が7.71%向上、3DNotesで3.72%向上し、強い正の効果を示した。
• 潜在タイプと既知タイプの両方の監視を統合した完全版LATTEモデルは、最も高い性能を達成し、強力なベースライン比でMedMentionsでP@1が5.8%の絶対的向上を達成した。
• 定性的な分析から、LATTEはタイプ情報と文字レベルの符号化を活用することで、OOV語や省略語を効果的に処理していることが確認された。
• 共起注意機構により、同じ粗いタイプを持つ候補であっても、潜在的意味的タイプが異なる場合でも正確な曖昧性解消が可能であることが示された。