[論文レビュー] A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks

Shubham Vatsal, H. Dubey|arXiv (Cornell University)|Jul 17, 2024

Topic Modeling被引用数 30

ひとこと要約

この調査は、29のNLPタスクに適用された39の prompting 手法について44件の論文を要約し、タスクとデータセット別に技術を整理し、潜在的なSoTAの方向性を論じる。

ABSTRACT

Large language models (LLMs) have shown remarkable performance on many different Natural Language Processing (NLP) tasks. Prompt engineering plays a key role in adding more to the already existing abilities of LLMs to achieve significant performance gains on various NLP tasks. Prompt engineering requires composing natural language instructions called prompts to elicit knowledge from LLMs in a structured way. Unlike previous state-of-the-art (SoTA) models, prompt engineering does not require extensive parameter re-training or fine-tuning based on the given NLP task and thus solely operates on the embedded knowledge of LLMs. Additionally, LLM enthusiasts can intelligently extract LLMs' knowledge through a basic natural language conversational exchange or prompt engineering, allowing more and more people even without deep mathematical machine learning background to experiment with LLMs. With prompt engineering gaining popularity in the last two years, researchers have come up with numerous engineering techniques around designing prompts to improve accuracy of information extraction from the LLMs. In this paper, we summarize different prompting techniques and club them together based on different NLP tasks that they have been used for. We further granularly highlight the performance of these prompting strategies on various datasets belonging to that NLP task, talk about the corresponding LLMs used, present a taxonomy diagram and discuss the possible SoTA for specific datasets. In total, we read and present a survey of 44 research papers which talk about 39 different prompting methods on 29 different NLP tasks of which most of them have been published in the last two years.

研究の動機と目的

• NLPタスクとデータセットごとに組織化された、詳細な prompting 戦略の分類を提供する。
• prompting 手法全体でデータセット、LLMs、および観察された性能向上を要約する。
• 各データセット/タスクにおける潜在的な最先端（SoTA）手法を強調する。
• zero-shot と few-shot prompting のバリエーションとそのトレードオフを比較する。

提案手法

• 39の prompting 手法を網羅する44件の論文をレビューし分類する。
• 適用されたNLPタスク別に prompting 手法をグループ化する。
• 分類図を提供し、使用された技術、データセット、LLMsを表に整理する。
• 調査対象の研究に基づき、各データセット/タスクにおける潜在的なSoTA手法を議論する。

実験結果

リサーチクエスチョン

• RQ1 異なるNLPタスクのために提案・評価された prompting 手法は何か。
• RQ2 性能と手法の観点で、タスクとデータセット間で prompting 戦略はどのように異なるか。
• RQ3 特定のベンチマークに対して、最近のpromptエンジニアリング研究で提案された潜在的なSoTA手法は何か。

主な発見

• 本調査は44本の研究論文を対象とし、29のNLPタスクにわたる39の prompting 手法を説明している。
• ほとんどの prompting 手法は過去2年で公表された。
• 本研究は分類図とデータセット別のタスク分析を提供する。
• 調査結果に基づき、各データセット/タスクの潜在的なSoTA手法を論じる。
• zero-shotやfew-shotなどのさまざまな prompting バリエーションを対比し、それに伴うトレードオフを指摘する。
• 先行の調査はタスク別の粒度が欠けていると指摘されており、本研究がそれを補う。