[論文レビュー] Prompt engineering paradigms for medical applications: scoping review and recommendations for better practices

Jamil Zaghir, Marco Naguib+4 more|arXiv (Cornell University)|May 2, 2024

Biomedical and Engineering Education被引用数 7

ひとこと要約

スキャーピング・レビュー：PD・PL・PTを含む医療のプロンプトエンジニアリング研究114件（2022–2024）を対象に、用語と実践の標準化を提言。

ABSTRACT

Prompt engineering is crucial for harnessing the potential of large language models (LLMs), especially in the medical domain where specialized terminology and phrasing is used. However, the efficacy of prompt engineering in the medical domain remains to be explored. In this work, 114 recent studies (2022-2024) applying prompt engineering in medicine, covering prompt learning (PL), prompt tuning (PT), and prompt design (PD) are reviewed. PD is the most prevalent (78 articles). In 12 papers, PD, PL, and PT terms were used interchangeably. ChatGPT is the most commonly used LLM, with seven papers using it for processing sensitive clinical data. Chain-of-Thought emerges as the most common prompt engineering technique. While PL and PT articles typically provide a baseline for evaluating prompt-based approaches, 64% of PD studies lack non-prompt-related baselines. We provide tables and figures summarizing existing work, and reporting recommendations to guide future research contributions.

研究の動機と目的

• 医療におけるPROMPT ENGINEERINGの適用をPD・PL・PTの観点で評価する。
• 最近の医療LLM研究で用いられる支配的なパラダイム・技術・用語を特定する。
• 今後の研究の厳密性・ベースライン・報告を改善する提言を提供する。

提案手法

• 医療におけるPROMPT ENGINEERINGを適用した2022–2024年の114件の研究を系統的にはScopeする。
• 研究をPROMPTデザイン(PD)、PROMPT学習(PL)、PROMPTチューニング(PT)で分類する。
• 使用パターンの定量的統合（例：PDの蔓延、ChatGPTの使用、一般的な技法）を行う。
• ベースライン実践と報告のギャップを抽出し、提言を情報提供する。

実験結果

リサーチクエスチョン

• RQ1 医療応用で用いられる支配的なPROMPTエンジニアリングパラダイムは何か（PD・PL・PT）？
• RQ2 これらのパラダイムは研究全体でどのように適用され、評価のベースラインは何か？
• RQ3 どのような共通技法（例：Chain-of-Thought）を用い、どのLLMが使用されているか？
• RQ4 比較可能性と再現性に影響を与える報告と用語のギャップは何か？

主な発見

• PROMPTデザイン(PD)が最も普及しており、78件で現れた。
• 2022–2024年の研究を合計114件でレビューした。
• 12件の論文ではPD・PL・PTの用語が互換的に使用された。
• ChatGPTは最も頻繁に使用されるLLMで、機微な臨床データを処理するために7件で使用された。
• Chain-of-Thoughtは最も一般的なPROMPTエンジニアリング技法。
• PD研究の64%は非PROMPT関連のベースラインを欠いている。