[論文レビュー] Prompt Design and Engineering: Introduction and Advanced Methods

Xavier Amatriain|arXiv (Cornell University)|Jan 24, 2024

BIM and Construction Integration被引用数 31

ひとこと要約

この論文はLLMsのプロンプト設計とエンジニアリングを概観し、Chain-of-Thought、Reflection、agent-based prompting などの中核概念と高度な技術を紹介し、ツール類の調査も行う。

ABSTRACT

Prompt design and engineering has rapidly become essential for maximizing the potential of large language models. In this paper, we introduce core concepts, advanced techniques like Chain-of-Thought and Reflection, and the principles behind building LLM-based agents. Finally, we provide a survey of tools for prompt engineers.

研究の動機と目的

• 生成型AIモデルのプロンプト設計とエンジニアリングを定義する。
• コアプロンプトタイプとそれらがモデル出力に与える影響を説明する。
• 高度な手法（CoT、Reflection、ToT、tools、Rails、RAG）とその適用を調査する。
• LLMsの制約と高度な prompting がそれらをどう緩和するかを論じる。
• プロンプトエンジニアが用いるツールとフレームワークの全体像を提供する。）

提案手法

• 基礎的および高度なプロンプト構造とプロンプトエンジニアリングのワークフローを説明する。
• Chain-of-Thought および他の推論強化技術を例とともに紹介する。
• ToT、Tools/Connectors/Skills、ART、Self-Consistency、Reflection、Expert Prompting、Rails を含む高度な手法を提示する。
• APE や PromptChainer ベースのチェーンなど、自動化とツールの議論を行う。
• Retrieval Augmented Generation (RAG) および関連する prompting 戦略の概要を示す。
• 方法を文脈づけるために注目すべき関連作品を引用する。）

Figure 1: Instructions + Question Prompt result example

実験結果

リサーチクエスチョン

• RQ1 LLMs の prompt design と engineering の基礎概念は何か？
• RQ2 推論、正確性、信頼性を向上させる高度な prompting 技法はどれか？
• RQ3 外部ツール、メモリ、知識源を活用するように prompts を設計するにはどうすればよいか？
• RQ4 拡張性のある prompt 工学を支えるツールアーキテクチャ（agents、Rails、APE）は何か？
• RQ5 prompting 戦略が緩和を目指す LLMs の核となる制約は何か？

主な発見

• Chain-of-Thought prompting およびその派生は LLMs の問題解決力を向上させる。
• Tree of Thought や self-consistency のような技法は探索と信頼性を高める。
• 外部ツール、コネクタ、スキルは LLM の能力を内在知識を超えて拡張する。
• Reflection、expert prompting、rails は出力を正確性と安全性へ導く。
• 自動化された prompt engineering および RAG アプローチはプロンプト設計を自動化・強化する。
• 著名なフレームワークとツール（例: PromptChainer、Nemo Guardrails、APE）は実践的なエンジニアリングワークフローを示す。

Figure 2: Instructions + Input Prompt result example