[論文レビュー] What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use

Qianou Ma, Weirui Peng+4 more|arXiv (Cornell University)|Sep 13, 2024

Artificial Intelligence in Law被引用数 4

ひとこと要約

本論文では、初心者が効果的なLLMプロンプティングのための明確で完全な要件を明確に表現できるようにする訓練パラダイムである要件指向型プロンプト工学（ROPE）を紹介する。LLMが生成するフィードバックを活用した意図的な練習を通じて、ROPEは初心者のプロンプト作成パフォーマンスを従来の訓練法と比較して2倍に向上させた。これは、高品質な要件が高品質なLLM出力を直接可能にすることを示している。

ABSTRACT

Prompting LLMs for complex tasks (e.g., building a trip advisor chatbot) needs humans to clearly articulate customized requirements (e.g., "start the response with a tl;dr"). However, existing prompt engineering instructions often lack focused training on requirement articulation and instead tend to emphasize increasingly automatable strategies (e.g., tricks like adding role-plays and "think step-by-step"). To address the gap, we introduce Requirement-Oriented Prompt Engineering (ROPE), a paradigm that focuses human attention on generating clear, complete requirements during prompting. We implement ROPE through an assessment and training suite that provides deliberate practice with LLM-generated feedback. In a randomized controlled experiment with 30 novices, ROPE significantly outperforms conventional prompt engineering training (20% vs. 1% gains), a gap that automatic prompt optimization cannot close. Furthermore, we demonstrate a direct correlation between the quality of input requirements and LLM outputs. Our work paves the way to empower more end-users to build complex LLM applications.

研究の動機と目的

• LLMプロンプティングにおいて、初心者がカスタマイズされた要件を効果的に伝えることが困難であるという課題に取り組む。これは、プロンプト最適化分野の進展にもかかわらず依然として顕在している。
• 文法的プロンプト最適化から、プロンプト工学の核となるスキルとしての要件表現への焦点を移す。
• 複雑なLLMタスクのための完全で明確な要件を書けるようにする、初心者の能力を向上させる訓練システムの設計と評価を行う。
• LLMが要件の質について的確でマルチモーダルなフィードバックを提供するフィードバックループを確立し、段階的な改善を支援する。
• 他のプロンプティング技術が最適化された状態でも、LLM出力の有効性の主な要因が入力要件の質であることを実証する。

提案手法

• 意図的な練習に焦点を当てた訓練キットを開発し、ユーザーがLLMが生成する要件の質に関するフィードバックに基づいて繰り返しプロンプトを最適化する。
• 30名の初心者を対象に前後比較実験を実施し、要件の質と最終的なプロンプト効果性の両方を評価した。
• 要件の完全性と明確さを、実際に得られるLLM出力の質と関連付ける評価を設計した。具体的には、反復的タスクのバランス調整（例：TripAdvisorチャットボットの再現）を用いた。
• 要件の質の向上を支援するため、LLMが提供するマルチモーダルなフィードバック（明確化、提案、誤解の説明など）を統合した。
• 内因的指標（例：完全性、明確さ）と外因的指標（例：タスク達成度、出力の正しさ）を用いて、要件の質を定義および測定した。
• LLMを用いて要件解釈におけるバイアスをシミュレートし、曖昧または範囲が広すぎる要件を特定・改善するようユーザーを誘導した。

Figure 1 . We propose Requirement-Oriented-Prompt Engineering (ROPE) to help novices write effective prompt programs by focusing on articulating good requirements. (A) Our training provides deliberate practice in refining requirements, with automated feedback across various modalities. (B) We provid

実験結果

リサーチクエスチョン

• RQ1 要件表現に焦点を当てた訓練が、初心者が複雑なLLMタスクのための効果的なプロンプトを生成する能力を顕著に向上させるか？
• RQ2 ROPE訓練は、従来のプロンプト工学訓練と比較して、プロンプトパフォーマンスおよび要件の質の面でどのように異なるか？
• RQ3 他のプロンプティング技術が最適化された状態でも、LLM出力の質が入力要件の質にどの程度依存するか？
• RQ4 LLMが生成するフィードバックは、欠落や曖昧な要素を特定するうえで、ユーザーの要件の洗練を効果的に支援できるか？
• RQ5 ユーザーの要件の明確化能力は、タスクの複雑さや分野の専門性に応じてどのように変化するか？また、訓練はこうした差異に適応可能か？

主な発見

• ROPE訓練は、従来のプロンプト工学訓練と比較して、初心者のプロンプトパフォーマンスを2倍に向上させ、要件の質および最終的な出力効果性の両面で統計的に有意な改善を示した。
• 他のプロンプティング技術が一定に保たれた状態でも、入力要件の質がLLM出力品質の最も強い予測要因であった。
• ROPEで訓練を受けた初心者たちは、多様な入力を処理する、エッジケースを管理するといった、重要な行動要件を明確に記述する能力に顕著な向上を示した。
• LLMが生成する要件に関するフィードバックは、ユーザーが曖昧さや欠落を識別・是正する能力を顕著に向上させた。
• ROPEグループの参加者は、コントロールグループと比較して、「フォローアップ質問を尋ねる」や「曖昧な入力を処理する」などの重要な要件を含む傾向が高かった。
• 本研究では、熟練したユーザーですらLLMが難しいとされる要件を明確に表現できないことが判明し、要件仕様の構造的訓練の必要性が浮き彫りになった。

Figure 2 . Automatically refine a user’s prompt for Trip Advisor using the optimizer Prompt Maker. Customized requirements still need to come from the human prompt, while the optimizer improves on fluency, role plays, structures, etc.