[논문 리뷰] An Empirical Evaluation of Prompting Strategies for Large Language Models in Zero-Shot Clinical Natural Language Processing

Sonish Sivarajkumar, Mark Kelley외 3명|arXiv (Cornell University)|2023. 09. 14.

Topic Modeling인용 수 10

한 줄 요약

논문은 GPT-3.5, BARD, LLAMA2를 사용하여 다섯 가지 작업에서 제로샷 임상 NLP에 대한 프롬프트 전략을 경험적으로 평가하고, 휴리스틱 프롬프트와 앙상블 프롬프트를 도입하며 제로샷과 few-shot prompting을 비교한다.

ABSTRACT

Large language models (LLMs) have shown remarkable capabilities in Natural Language Processing (NLP), especially in domains where labeled data is scarce or expensive, such as clinical domain. However, to unlock the clinical knowledge hidden in these LLMs, we need to design effective prompts that can guide them to perform specific clinical NLP tasks without any task-specific training data. This is known as in-context learning, which is an art and science that requires understanding the strengths and weaknesses of different LLMs and prompt engineering approaches. In this paper, we present a comprehensive and systematic experimental study on prompt engineering for five clinical NLP tasks: Clinical Sense Disambiguation, Biomedical Evidence Extraction, Coreference Resolution, Medication Status Extraction, and Medication Attribute Extraction. We assessed the prompts proposed in recent literature, including simple prefix, simple cloze, chain of thought, and anticipatory prompts, and introduced two new types of prompts, namely heuristic prompting and ensemble prompting. We evaluated the performance of these prompts on three state-of-the-art LLMs: GPT-3.5, BARD, and LLAMA2. We also contrasted zero-shot prompting with few-shot prompting, and provide novel insights and guidelines for prompt engineering for LLMs in clinical NLP. To the best of our knowledge, this is one of the first works on the empirical evaluation of different prompt engineering approaches for clinical NLP in this era of generative AI, and we hope that it will inspire and inform future research in this area.

연구 동기 및 목표

• 대형 언어 모델을 사용할 때 프롬프트 전략이 제로샷 임상 NLP 성능에 어떤 영향을 미치는지 조사한다.
• 최근 문헌의 다양한 프롬프트 유형과 새로운 프롬프트를 체계적으로 비교한다.
• LLMs를 활용한 임상 NLP에서 프롬프트 엔지니어링에 대한 실용적 지침을 제공한다.

제안 방법

• 다섯 가지 임상 NLP 작업에 걸쳐 프롬프트를 평가한다: Clinical Sense Disambiguation, Biomedical Evidence Extraction, Coreference Resolution, Medication Status Extraction, 및 Medication Attribute Extraction.
• 간단 접두사, 간단 클로즈, 사고의 연쇄(chain of thought), 예측 프롬프팅과 같은 문헌의 프롬프트를 테스트한다.
• 두 가지 새로운 프롬프트 유형을 도입한다: 휴리스틱 프롬프트와 앙상블 프롬프트를 도입한다.
• 세 가지 최첨단 LLM(GPT-3.5, BARD, LLAMA2)에 대해 제로샷 프롬프트와 few-shot 프롬프트를 비교한다.
• 프롬프트 접근법의 강점과 약점을 분석하여 실행 가능한 지침을 도출한다.

실험 결과

연구 질문

• RQ1 다양한 프롬프트 전략이 다수의 작업과 모델에 걸쳐 제로샷 임상 NLP 성능에 어떤 영향을 미치는가?
• RQ2 휴리스틱 프롬프트와 앙상블 프롬프트가 임상 NLP의 전통적 프롬프트 유형보다 개선을 제공하는가?
• RQ3 이 분야에서 제로샷 프롬프트와 few-shot 프롬프트 간의 트레이드오프는 무엇인가?
• RQ4 GPT-3.5, BARD, LLAMA2가 다양한 프롬프트 전략 하에서 임상 NLP 작업을 어떻게 비교되는가?

주요 결과

• 최근 문헌의 프롬프트는 작업과 모델에 따라 효과가 다르다.
• 두 가지 새로운 프롬프트 유형인 휴리스틱 프례프팅과 앙상블 프롬프트가 제안되고 평가된다.
• 제로샷 프롬프트 성능을 few-shot 프롬프트와 대조하여 임상 NLP에서의 프롬프트 엔지니어링에 대한 실용적 지침을 식별한다.
• 본 연구는 향후 임상 NLP의 프롬프트 엔지니어링 연구에 정보를 제공하는 통찰 및 지침을 제시한다.