[論文レビュー] Unleashing the potential of prompt engineering for large language models

B.‐C. CHEN, Zhaofeng Zhang+2 more|arXiv (Cornell University)|Oct 23, 2023

Topic Modeling被引用数 133

ひとこと要約

大規模言語モデルのための prompt engineering 技術の総合的な調査で、基盤的手法、高度な prompting 戦略、評価、および応用をカバーします。

ABSTRACT

This comprehensive review delves into the pivotal role of prompt engineering in unleashing the capabilities of Large Language Models (LLMs). The development of Artificial Intelligence (AI), from its inception in the 1950s to the emergence of advanced neural networks and deep learning architectures, has made a breakthrough in LLMs, with models such as GPT-4o and Claude-3, and in Vision-Language Models (VLMs), with models such as CLIP and ALIGN. Prompt engineering is the process of structuring inputs, which has emerged as a crucial technique to maximize the utility and accuracy of these models. This paper explores both foundational and advanced methodologies of prompt engineering, including techniques such as self-consistency, chain-of-thought, and generated knowledge, which significantly enhance model performance. Additionally, it examines the prompt method of VLMs through innovative approaches such as Context Optimization (CoOp), Conditional Context Optimization (CoCoOp), and Multimodal Prompt Learning (MaPLe). Critical to this discussion is the aspect of AI security, particularly adversarial attacks that exploit vulnerabilities in prompt engineering. Strategies to mitigate these risks and enhance model robustness are thoroughly reviewed. The evaluation of prompt methods is also addressed through both subjective and objective metrics, ensuring a robust analysis of their efficacy. This review also reflects the essential role of prompt engineering in advancing AI capabilities, providing a structured framework for future research and application.

研究の動機と目的

• LLMs のための prompt engineering の基本原理と構成要素を説明する。
• 出力品質を改善し幻覚を減らすための基本および高度な prompting 技法を調査する。
• プラグインや retrieval augmentation などの外部支援を提示して prompts を強化する。
• 複数の視点から prompt の有効性を評価する手法を特定する。
• 教育、プログラミングなど他の分野における prompt engineering の応用を探る。

提案手法

• 基本的な prompt 要素と、指示の質が出力に与える影響を説明する。
• role-prompting、one-shot および few-shot prompting、および prompt 構造の影響を提示する。
• 高度な技法を説明する：Chain-of-Thought、Self-Consistency、generated knowledge、least-to-most prompting、tree of thoughts、graph of thoughts。
• retrieval augmentation と plugin-assisted prompt polishing を議論する。
• 評価戦略と将来の方向性を強調する。

Figure 10: Guideline of courses generated by GPT-4

実験結果

リサーチクエスチョン

• RQ1 LLMs の prompt engineering の核心原理と基本技法とは何か？
• RQ2 高度な prompting 手法（CoT、ToT、GoT など）は推論と正確性をどのように改善するか？
• RQ3 外部支援（retrieval、plugins）は prompt の有効性を高め、幻覚を減らすのにどう役立つか？
• RQ4 さまざまなタスクと視点で prompt の有効性をどう評価すべきか？
• RQ5 さまざまな領域における prompt engineering の潜在的な将来の方向性と応用は何か？

主な発見

• Prompt engineering は、基本的な prompt 構築から高度な推論駆動技術までのスペクトルを包含する。
• Chain-of-Thought や Self-Consistency のような高度な手法は、タスク全体で推論の正確性を向上させる。
• retrieval augmentation や plugins のような外部支援は幻覚を減らし出力を向上させる可能性がある。
• prompt の有効性は、正確性、整合性、領域横断的な有用性など複数の観点から評価できる。
• 教育、プログラミング、その他の分野において prompt engineering は変革的な可能性を持つ。