[論文レビュー] The Prompt Canvas: A Literature-Based Practitioner Guide for Creating Effective Prompts in Large Language Models

Michael Hewing, Vincent Leinhos|arXiv (Cornell University)|Dec 6, 2024

Educational Tools and Methods被引用数 5

ひとこと要約

本論文はPrompt Canvasを紹介する。これはキャンバスベースのフレームワークで、体系的な文献レビューから既存のプロンプトエンジニアリング手法を統合し、LLMsの効果的なプロンプト設計を実務者に指針を提供する。

ABSTRACT

The rise of large language models (LLMs) has highlighted the importance of prompt engineering as a crucial technique for optimizing model outputs. While experimentation with various prompting methods, such as Few-shot, Chain-of-Thought, and role-based techniques, has yielded promising results, these advancements remain fragmented across academic papers, blog posts and anecdotal experimentation. The lack of a single, unified resource to consolidate the field's knowledge impedes the progress of both research and practical application. This paper argues for the creation of an overarching framework that synthesizes existing methodologies into a cohesive overview for practitioners. Using a design-based research approach, we present the Prompt Canvas, a structured framework resulting from an extensive literature review on prompt engineering that captures current knowledge and expertise. By combining the conceptual foundations and practical strategies identified in prompt engineering, the Prompt Canvas provides a practical approach for leveraging the potential of Large Language Models. It is primarily designed as a learning resource for pupils, students and employees, offering a structured introduction to prompt engineering. This work aims to contribute to the growing discourse on prompt engineering by establishing a unified methodology for researchers and providing guidance for practitioners.

研究の動機と目的

• 多様な情報源からの断片化したプロンプトエンジニアリングの知識を統合して、一つの一貫したフレームワークにする。
• 実務者志向の学習リソースを、生徒・学生・従業員に提供する。
• LLMにおけるプロンプティングの統一的な方法論を確立することによって研究者への指針を提供する。

提案手法

• SLRおよびPRISMAに触発された手順に従い、プロンプトエンジニアリング手法の系統的文献調査を実施する。
• 文献の知見を視覚的なキャンバスにマッピングして、アクセス性と適用性を向上させる。
• プロンプト要素を整理するための4カテゴリーのキャンバス構造（Persona/Role、Goal/Step-by-Step、Context/References、Format/Tonality）を定義する。
• Few-shot、Chain-of-Thought、role-based promptingなどの主要なプロンプティング手法を、文献からの補助パターンとスキルとともに見直し、統合する。

実験結果

リサーチクエスチョン

• RQ1 特にテキスト対テキストモダリティにおけるプロンプトエンジニアリングの技術と方法の現在の状況はどうなっているか？
• RQ2 断片的なプロンプトに関する知識を、実務者にとって使いやすいフレームワークへどのように統合できるか？
• RQ3 文献からどの要素とパターンを統合したプロンプトキャンバスに含めるべきか？

主な発見

• 実務的な利用のためにプロンプトエンジニアリング手法を視覚的に整理する統一キャンバスが提案されている。
• 文献レビューは、複数のプロンプティング手法とパターンをPrompt Canvasフレームワークへと同定・統合している。
• プロンプトの次元的視点には相互作用、コンテキスト、アウトカムを含み、Chain-of-Thoughtが強力な推論技法として強調されている。
• 有効なプロンプトを構築するため、既存の分類法から七〜九つの次元および関連するメタ次元が取り出されている。