[논문 리뷰] How far is Language Model from 100% Few-shot Named Entity Recognition in Medical Domain

Mingchen Li, Rui Zhang|arXiv (Cornell University)|2023. 07. 01.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 소형 언어 모델(SLMs)과 대형 언어 모델(LLMs)이 소수의 예시(few-shot) 의료 명명된 실체 인식(NER)에서의 성능을 조사하며, 관련 예시를 검색하고 단계적 추론을 적용하여 LLM을 향상시키는 Retrieval-and-Thinking(RT) 프레임워크를 제안한다. RT는 두 개의 개방형 의료 NER 벤치마크에서 강력한 기준 모델을 크게 능가하며, 거의 최신 기술 수준의 성능을 달성하지만, 잘못된 식별과 기호 생성 오류 등의 과제로 인해 100% 정확도를 달성하지 못한다.

ABSTRACT

Recent advancements in language models (LMs) have led to the emergence of powerful models such as Small LMs (e.g., T5) and Large LMs (e.g., GPT-4). These models have demonstrated exceptional capabilities across a wide range of tasks, such as name entity recognition (NER) in the general domain. (We define SLMs as pre-trained models with fewer parameters compared to models like GPT-3/3.5/4, such as T5, BERT, and others.) Nevertheless, their efficacy in the medical section remains uncertain and the performance of medical NER always needs high accuracy because of the particularity of the field. This paper aims to provide a thorough investigation to compare the performance of LMs in medical few-shot NER and answer How far is LMs from 100\% Few-shot NER in Medical Domain, and moreover to explore an effective entity recognizer to help improve the NER performance. Based on our extensive experiments conducted on 16 NER models spanning from 2018 to 2023, our findings clearly indicate that LLMs outperform SLMs in few-shot medical NER tasks, given the presence of suitable examples and appropriate logical frameworks. Despite the overall superiority of LLMs in few-shot medical NER tasks, it is important to note that they still encounter some challenges, such as misidentification, wrong template prediction, etc. Building on previous findings, we introduce a simple and effective method called extsc{RT} (Retrieving and Thinking), which serves as retrievers, finding relevant examples, and as thinkers, employing a step-by-step reasoning process. Experimental results show that our proposed extsc{RT} framework significantly outperforms the strong open baselines on the two open medical benchmark datasets

연구 동기 및 목표

• 소수의 예시 의료 NER 작업에서 SLM과 LLM의 성능을 비교하는 것.
• 일반 도메인에서 훈련된 NER 모델이 의료 도메인으로 효과적으로 이식될 수 있는지 조사하는 것.
• annotation의 양과 질이 의료 NER에서 SLM과 LLM 성능에 미치는 영향을 분석하는 것.
• 현재 언어 모델이 소수의 예시 의료 NER 정확도 100%를 달성하지 못하는 데 기여하는 잔류 장벽을 특정하는 것.

제안 방법

• 소수의 예시 NER에서 수신자이자 추론자로 작동하는 Retrieval-and-Thinking(RT) 프레임워크를 제안한다.
• 의미적 유사도를 사용하여 문맥 내 관련 예시를 검색하여 프롬프트 품질을 향상시킨다.
• 단계적 추론을 적용하여 LLM이 논리적인 실체 추출 과정을 안내한다.
• 데이터셋 별 성능에 따라 긍정 예시만 사용하거나, 긍정 및 부정 예시를 결합하는 등 다양한 예시 선택 전략을 적용한다.
• 예측 형식을 제약하고 구조적 오류를 줄이기 위해 출력 템플릿을 사용한다.
• 두 개의 개방형 의료 NER 데이터셋인 BC5CDR과 NCBI에서 Micro-F1과 정확한 매치 F1을 사용하여 성능을 평가한다.

Figure 1: LLM performance on without (w/o) mask operation and with (w/) mask operation

실험 결과

연구 질문

• RQ1 소수의 예시 의료 NER 작업에서 SLM과 LLM 중 어떤 모델 유형이 더 잘 수행되는가?
• RQ2 일반 도메인에서 훈련된 NER 모델은 의료 도메인으로 성공적으로 이식될 수 있는가?
• RQ3 annotation의 양과 질은 의료 NER에서 SLM과 LLM 성능에 어떻게 영향을 미치는가?
• RQ4 현재 최신 기술 모델이 소수의 예시 의료 NER 정확도 100%를 달성하지 못하는 요인은 무엇인가?

주요 결과

• 고품질 지침과 적절한 논리적 프레임워크가 제공될 경우, LLM이 SLM보다 소수의 예시 의료 NER에서 더 우수한 성능을 보인다.
• 일반 도메인 NER 모델의 의료 도메인으로의 이식은 모델이 의료 데이터로 특별히 사전 훈련된 경우에만 효과적이다.
• 저자료 조건에서 LLM은 SLM보다 더 안정적인 성능을 보이며, 특히 부분적으로 annotation된 훈련 데이터일 경우 더욱 두드러진다.
• 검색된 예시의 효과성은 데이터셋에 따라 다를 수 있다; NCBI의 경우 긍정 예시만 사용할 때 더 좋은 결과를 얻고, BC5CDR의 경우 긍정 및 부정 예시를 결합할 때 더 효과적이다.
• RT는 BC5CDR과 NCBI 데이터셋 양쪽에서 강력한 기준 모델과 비교해도 열등하지 않은 성능을 달성하며, 특히 1-shot 및 5-shot 설정에서 뛰어난 성능을 보인다.
• 개선에도 불구하고, 잘못된 식별, 기호 생성 오류, 잘못된 템플릿 예측, 부분적으로 annotation된 데이터에서의 클래스 충돌 등의 문제로 인해 RT는 여전히 100% 정확도에 도달하지 못한다.

Figure 2: The output format of different ICL methods