[論文レビュー] How far is Language Model from 100% Few-shot Named Entity Recognition in Medical Domain

Mingchen Li, Rui Zhang|arXiv (Cornell University)|Jul 1, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿は、少量の例を用いた医療命名エンティティ認識（NER）における小規模言語モデル（SLMs）および大規模言語モデル（LLMs）の性能を調査し、関連する例を検索して段階的思考を適用することでLLMsの性能を向上させる、リtrieval-and-Thinking（RT）フレームワークを提案する。RTは2つのオープンな医療NERベンチマークで強力なベースラインを著しく上回り、準最良の結果を達成するが、誤同定や記号生成エラーなどの課題により、100%の正確性には至らない。

ABSTRACT

Recent advancements in language models (LMs) have led to the emergence of powerful models such as Small LMs (e.g., T5) and Large LMs (e.g., GPT-4). These models have demonstrated exceptional capabilities across a wide range of tasks, such as name entity recognition (NER) in the general domain. (We define SLMs as pre-trained models with fewer parameters compared to models like GPT-3/3.5/4, such as T5, BERT, and others.) Nevertheless, their efficacy in the medical section remains uncertain and the performance of medical NER always needs high accuracy because of the particularity of the field. This paper aims to provide a thorough investigation to compare the performance of LMs in medical few-shot NER and answer How far is LMs from 100\% Few-shot NER in Medical Domain, and moreover to explore an effective entity recognizer to help improve the NER performance. Based on our extensive experiments conducted on 16 NER models spanning from 2018 to 2023, our findings clearly indicate that LLMs outperform SLMs in few-shot medical NER tasks, given the presence of suitable examples and appropriate logical frameworks. Despite the overall superiority of LLMs in few-shot medical NER tasks, it is important to note that they still encounter some challenges, such as misidentification, wrong template prediction, etc. Building on previous findings, we introduce a simple and effective method called extsc{RT} (Retrieving and Thinking), which serves as retrievers, finding relevant examples, and as thinkers, employing a step-by-step reasoning process. Experimental results show that our proposed extsc{RT} framework significantly outperforms the strong open baselines on the two open medical benchmark datasets

研究の動機と目的

• 少量の例を用いた医療NERタスクにおけるSLMsとLLMsの性能を比較すること。
• 一般ドメインで学習されたNERモデルが医療ドメインに効果的に転移可能かどうかを調査すること。
• アノテーションの量と質が医療NERにおけるSLMsおよびLLMsのパフォーマンスに与える影響を分析すること。
• 現在の最先端モデルが100%の少量の例を用いた医療NER正確性に至らない要因を同定すること。

提案手法

• 少量の例を用いたNERタスクにおいて、リトリーバーとしても推論者としても機能するリtrieval-and-Thinking（RT）フレームワークを提案する。
• 意味的類似性を用いて文脈内での関連する例を検索し、プロンプトの質を向上させる。
• 段階的思考を適用してLLMsが論理的なエンティティ抽出プロセスに従えるように誘導する。
• データセットに応じたパフォーマンスに基づき、正例のみを使用するか、正例と負例を組み合わせるなどの異なる例選択戦略を採用する。
• 出力テンプレートを用いて予測形式を制約し、構造的エラーを低減する。
• 2つのオープンな医療NERデータセット（BC5CDRとNCBI）を用いて、Micro-F1および正確一致F1を指標にパフォーマンスを評価する。

Figure 1: LLM performance on without (w/o) mask operation and with (w/) mask operation

実験結果

リサーチクエスチョン

• RQ1 少量の例を用いた医療NERタスクにおいて、SLMsとLLMsのどちらがより優れた性能を示すか？
• RQ2 一般ドメインで学習されたNERモデルは、医療ドメインに効果的に転移可能か？
• RQ3 アノテーション例の量と質は、医療NERにおけるSLMsおよびLLMsのパフォーマンスにどのように影響するか？
• RQ4 現在の最先端モデルが100%の少量の例を用いた医療NER正確性に至らない要因は何か？

主な発見

• 高品質な指示と適切な論理的フレームワークが提供された場合、LLMsはSLMsよりも少量の例を用いた医療NERで優れた性能を示す。
• 一般ドメインで学習されたNERモデルが医療ドメインに転移できるのは、モデルが医療データで特に事前学習されている場合に限る。
• 低データ状態において、特に部分的にアノテートされたデータがある場合、LLMsはSLMsよりもより安定したパフォーマンスを示す。
• 検索された例の有効性はデータセットによって異なる。NCBIでは正例のみを使用する方が効果的であり、BC5CDRでは正例と負例を組み合わせた方が効果的である。
• RTはBC5CDRおよびNCBIの両データセットで、強力なベースラインと同等または優れたパフォーマンスを達成しており、特に1-shotおよび5-shot設定で顕著な優位性を示す。
• 改善が見られるものの、誤同定、記号生成エラー、誤ったテンプレート予測、部分的にアノテートされたデータにおけるクラス衝突などの問題により、RTは依然として100%の正確性に至らない。

Figure 2: The output format of different ICL methods