[논문 리뷰] Prompt engineering paradigms for medical applications: scoping review and recommendations for better practices

Jamil Zaghir, Marco Naguib외 4명|arXiv (Cornell University)|2024. 05. 02.

Biomedical and Engineering Education인용 수 7

한 줄 요약

PD, PL, PT를 다루는 114건의 의료 프롬프트 엔지니어링 연구(2022–2024)에 대한 범위 리뷰로, 용어와 관행의 표준화에 대한 권고를 제공합니다.

ABSTRACT

Prompt engineering is crucial for harnessing the potential of large language models (LLMs), especially in the medical domain where specialized terminology and phrasing is used. However, the efficacy of prompt engineering in the medical domain remains to be explored. In this work, 114 recent studies (2022-2024) applying prompt engineering in medicine, covering prompt learning (PL), prompt tuning (PT), and prompt design (PD) are reviewed. PD is the most prevalent (78 articles). In 12 papers, PD, PL, and PT terms were used interchangeably. ChatGPT is the most commonly used LLM, with seven papers using it for processing sensitive clinical data. Chain-of-Thought emerges as the most common prompt engineering technique. While PL and PT articles typically provide a baseline for evaluating prompt-based approaches, 64% of PD studies lack non-prompt-related baselines. We provide tables and figures summarizing existing work, and reporting recommendations to guide future research contributions.

연구 동기 및 목표

• 의료 분야에서 PD, PL, PT 전반에 걸쳐 프롬프트 엔지니어링이 어떻게 적용되는지 평가한다.
• 최근 의학 LLM 연구에서 사용되는 지배적 패러다임, 기법, 용어를 식별한다.
• 향후 연구에서 엄밀성, 기준선, 보고를 개선하기 위한 권고를 제시한다.

제안 방법

• 의학에 프롬프트 엔지니어링을 적용한 2022–2024년 연구 114건에 대한 체계적 스코핑.
• 프롬프트 설계(PD), 프롬프트 학습(PL), 프롬프트 튜닝(PT)에 따른 연구 분류.
• 사용 패턴의 정량적 합성(예: PD의 보급, ChatGPT 사용, 일반적인 기법).
• 권고를 위한 기준 실습 및 보고 격차의 추출.

실험 결과

연구 질문

• RQ1 의료 응용에서 사용되는 지배적인 프롬프트 엔지니어링 패러다임(PD, PL, PT)은 무엇인가?
• RQ2 연구 전반에서 이러한 패러다임은 어떻게 적용되며 평가에 사용되는 기준선은 무엇인가?
• RQ3 일반적으로 어떤 기법들(예: Chain-of-Thought)이 사용되며 어떤 LLM이 사용되는가?
• RQ4 비교 가능성 및 재현성에 영향을 미치는 보고 및 용어의 격차는 무엇인가?

주요 결과

• 프롬프트 설계(PD)가 가장 보편적인 패러다임으로, 78건의 연구에 등장한다.
• 총 114건의 연구가 2022–2024년 기준으로 검토되었다.
• 12편의 논문에서 PD, PL, PT 용어가 상호 교환적으로 사용되었다.
• ChatGPT가 가장 일반적으로 사용되는 LLM이며, 7편의 논문이 민감한 임상 데이터를 처리하는 데 이를 사용했다.
• Chain-of-Thought가 가장 일반적인 프롬프트 엔지니어링 기법이다.
• PD 연구의 64%가 프롬프트 외의 기준선을 결여한다.