[論文レビュー] Extracting UMLS Concepts from Medical Text Using General and Domain-Specific Deep Learning Models

Kathleen Fraser, Isar Nejadgholi+4 more|arXiv (Cornell University)|Oct 3, 2019

Topic Modeling参考文献 31被引用数 15

ひとこと要約

本稿では、一般（BERT-base）およびドメイン固有（NCBI BERT や bioBERT）の文脈的埋め込みを連結することで、医療テキストにおけるUMLSコンセプト認識を向上させる、新しいBERTベースのモデルを提案する。この手法は、i2b2 2010データセットでSOTAのF1スコア0.90を達成し、より困難なMedMentionsデータセットではF1 = 0.63という新たなベンチマークを樹立した。これは、エンティティ認識のための一般知識と臨床知識を明示的に統合することの有効性を示している。

ABSTRACT

Entity recognition is a critical first step to a number of clinical NLP applications, such as entity linking and relation extraction. We present the first attempt to apply state-of-the-art entity recognition approaches on a newly released dataset, MedMentions. This dataset contains over 4000 biomedical abstracts, annotated for UMLS semantic types. In comparison to existing datasets, MedMentions contains a far greater number of entity types, and thus represents a more challenging but realistic scenario in a real-world setting. We explore a number of relevant dimensions, including the use of contextual versus non-contextual word embeddings, general versus domain-specific unsupervised pre-training, and different deep learning architectures. We contrast our results against the well-known i2b2 2010 entity recognition dataset, and propose a new method to combine general and domain-specific information. While producing a state-of-the-art result for the i2b2 2010 task (F1 = 0.90), our results on MedMentions are significantly lower (F1 = 0.63), suggesting there is still plenty of opportunity for improvement on this new data.

研究の動機と目的

• 新しくリリースされたMedMentionsデータセットにおいて、UMLSコンセプト認識のための最先端のディーブラーニングモデルを評価すること。
• i2b2 2010のようなよく研究されたデータセットと、より複雑で未だ十分に調査されていないMedMentionsのようなデータセットとの間のパフォーマンスギャップを特定すること。
• 文脈的埋め込みと非文脈的埋め込み、一般事前学習とドメイン固有事前学習、さまざまなニューラルアーキテクチャの影響を調査すること。
• 一般知識と臨床知識を統合するハイブリッドモデルを提案・評価し、エンティティ認識を改善すること。

提案手法

• MedMentionsおよびi2b2データセットで、一般BERT-baseおよびドメイン固有BERTモデル（NCBI BERT や bioBERT）を微調整する。
• 各トークンについて、一般およびドメイン固有BERTモデルの最終隠れ層の表現を連結する。
• 連結された埋め込みを、系列ラベル付け用の線形またはbi-LSTM分類器層に入力する。
• トレーニング中に、両方のBERTモデルと分類器層を同時に微調整する。
• MedMentionsデータセット（UMLSのすべての意味的タイプにラベル付け済み）を用いて、より広範なエンティティタイプのパフォーマンスを評価する。
• 異なる埋め込みタイプ、アーキテクチャ、データセット間での結果を比較し、パフォーマンスの乖離を分析する。

実験結果

リサーチクエスチョン

• RQ1 異なるデータセット上で、一般とドメイン固有のBERTモデルは、UMLSコンセプト認識のパフォーマンスにおいてどのように比較されるか？
• RQ2 臨床テキストにおけるエンティティ認識に、文脈的埋め込みと非文脈的埋め込みのどちらがより大きな影響を与えるか？
• RQ3 モデルの連結を通じて一般知識と臨床知識を統合することで、複雑で多様なエンティティタイプ認識タスクのパフォーマンスが向上するか？
• RQ4 同じモデルアーキテクチャであっても、i2b2 2010と比較してMedMentionsではパフォーマンスが著しく低下する理由は何か？
• RQ5 クラスの不均衡が著しいMedMentionsにおいて、より複雑な構造を持つbi-LSTM分類器が線形分類器を上回る性能を発揮するか？

主な発見

• 提案された連結BERTモデルは、i2b2 2010データセットでSOTAのF1スコア0.90を達成し、以前のSOTA（0.89）を上回った。
• MedMentionsデータセットでは、最良のモデルがF1スコア0.63を達成したが、これはi2b2 2010と比較して顕著に低い値であり、データセットの困難さが顕著に表れている。
• ドメイン固有事前学習（例：MedMentions用にbioBERTを使用）を用いることで、一般事前学習のみに比べてパフォーマンスが向上した。
• 線形分類器をbi-LSTM分類器に置き換えることで、MedMentions-st21pvではパフォーマンスが向上したが、MedMentions-fullでは結果が劣化した。これは、データセットに応じた最適なアーキテクチャ選択の重要性を示している。
• さまざまなデータセットにわたるモデル連結による小さな一貫した改善は、一般知識と臨床知識を明示的に統合するアプローチが、今後の研究にとって有望であることを示唆している。
• i2b2とMedMentionsのパフォーマンスギャップは、MedMentionsに存在するより多くのエンティティタイプ、高いクラスの曖昧さ、および深刻なクラスの不均衡に起因すると考えられる。