[論文レビュー] Biomedical Entity Representations with Synonym Marginalization

Mujeen Sung, Hwisang Jeon+2 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 39被引用数 7

ひとこと要約

本稿では、明示的なネガティブサンプリングを回避するため、上位候補予測におけるエンティティの同義語の周辺尤度を最大化することで、生物医学的エンティティ表現を学習する新しいフレームワーク、BioSynを提案する。モデルの予測に基づいて候補集合を繰り返し精錬することで、4つの生物医学的エンティティ正規化データセットにおいて最先端の性能を達成し、トップ1の正確度を最大2.6%向上させ、各データセットで性能の上限に近づいた。

ABSTRACT

Biomedical named entities often play important roles in many biomedical text mining tools. However, due to the incompleteness of provided synonyms and numerous variations in their surface forms, normalization of biomedical entities is very challenging. In this paper, we focus on learning representations of biomedical entities solely based on the synonyms of entities. To learn from the incomplete synonyms, we use a model-based candidate selection and maximize the marginal likelihood of the synonyms present in top candidates. Our model-based candidates are iteratively updated to contain more difficult negative samples as our model evolves. In this way, we avoid the explicit pre-selection of negative samples from more than 400K candidates. On four biomedical entity normalization datasets having three different entity types (disease, chemical, adverse reaction), our model BioSyn consistently outperforms previous state-of-the-art models almost reaching the upper bound on each dataset.

研究の動機と目的

• 同義語のばらつきと不完全な同義語リストによる生物医学的エンティティ正規化の課題に対処すること。
• エンティティ表現学習における大規模な候補プールからの明示的ネガティブサンプリングの必要性を排除すること。
• モデルの予測に基づく候補集合の繰り返し精錬によって表現品質を向上させること。
• 複数の生物医学的エンティティ正規化ベンチマークで最先端の性能を達成すること。

提案手法

• BioSynは、入力のメンションと辞書の同義語を共通のエンコーダーで共有ベクトル空間に埋め込む。
• 真の同義語が上位-k予測候補に含まれる尤度を最大化することで、同義語の周辺尤度化を実装する。
• モデルは形態的および意味的特徴を捉えるためにスパース表現とディンス表現の両方を用いる。
• トレーニング中にモデルの予測を用いて候補を繰り返し更新し、トレーニングが進むにつれてより難しいネガティブ例に焦点を当てる。
• モデルベースの候補選択に依存することで、明示的なネガティブサンプリングを回避し、計算コストを低減するとともに、ロバスト性を向上させる。
• 文脈に適した生物医学的表現を活用するため、事前学習済みのBioBERTを共有エンコーダーとして微調整する。

実験結果

リサーチクエスチョン

• RQ1 明示的なネガティブサンプリングを要しない条件下で、同義語の周辺尤度化は生物医学的エンティティ表現学習を改善できるか？
• RQ2 モデルの予測に基づく反復的候補選択は、エンティティ正規化の性能にどのように影響するか？
• RQ3 同義語ベースの表現モデルは、生物医学的エンティティ正規化においてどの程度性能の上限に近づけるか？
• RQ4 提案手法は疾患、化学物質、有害反応など、異なる生物医学的エンティティタイプに一般化可能か？

主な発見

• BioSynは4つの生物医学的エンティティ正規化データセットにおいて、従来モデルを0.8%〜2.6%上回る新たな最先端性能を達成した。
• 各データセットにおけるモデルの性能は理論上の上限に極めて近く、ほぼ最適な正規化能力を示している。
• 反復的候補精錬は、特に困難なネガティブ例の処理において、モデル性能を顕著に向上させた。
• 誤差解析の結果、失敗の多くは曖昧なアノテーションや前処理の制限によるものであり、モデル自体の欠陥によるものではないことが示され、モデルがほぼ性能の上限に達している可能性を示唆している。
• 本フレームワークは疾患、化学物質、有害反応の3つの異なる生物医学的エンティティタイプにわたり有効である。
• 本手法はロバストで汎用的であり、同義語辞書が利用可能であれば他の言語に対しても応用可能である可能性を有する。