[論文レビュー] Prompt Middleware: Mapping Prompts for Large Language Models to UI Affordances

Stephen MacNeil, Andrew Tran+4 more|arXiv (Cornell University)|Jul 3, 2023

Topic Modeling被引用数 7

ひとこと要約

本論文では、大規模言語モデル（LLM）のプロンプトにユーザーインターフェース（UI）のアフォーダンスをマッピングするフレームワーク「プロンプトミドルウェア」を紹介している。このフレームワークにより、3つのインタラクションモードが可能となる：静的プロンプト（専門家が事前に定義）、テンプレートベースのプロンプト（UIの選択肢から生成）、自由入力のプロンプト（ユーザーが作成）。本手法は、FeedbackBuffetというライティングアシスタントにおいて実証されており、ユーザーが選択したフィードバックタイプに基づいてGPT-3のプロンプトをテンプレートベースで生成することで、非エキスパートユーザーがLLMとやり取りする際の負担を著しく軽減している。

ABSTRACT

To help users do complex work, researchers have developed techniques to integrate AI and human intelligence into user interfaces (UIs). With the recent introduction of large language models (LLMs), which can generate text in response to a natural language prompt, there are new opportunities to consider how to integrate LLMs into UIs. We present Prompt Middleware, a framework for generating prompts for LLMs based on UI affordances. These include prompts that are predefined by experts (static prompts), generated from templates with fill-in options in the UI (template-based prompts), or created from scratch (free-form prompts). We demonstrate this framework with FeedbackBuffet, a writing assistant that automatically generates feedback based on a user's text input. Inspired by prior research showing how templates can help non-experts perform more like experts, FeedbackBuffet leverages template-based prompt middleware to enable feedback seekers to specify the types of feedback they want to receive as options in a UI. These options are composed using a template to form a feedback request prompt to GPT-3. We conclude with a discussion about how Prompt Middleware can help developers integrate LLMs into UIs.

研究の動機と目的

• インタラクティブシステムにおける非エキスパートユーザーが大規模言語モデル（LLM）を容易に利用できるようにする課題に対処すること。
• UIのアフォーダンスが、プロンプト工学を介してLLMとのインタラクションを媒介・構造化する方法を探ること。
• 専門家が設計した構造的で明確なプロンプトのパスを提供することで、プロンプト作成の認知的負担を軽減すること。
• 実世界のライティング支援文脈において、静的、テンプレートベース、自由入力のプロンプト生成戦略の有効性を評価すること。

提案手法

• UIコンポーネント（例：ボタン、ドロップダウン、テキストフィールド）を、3つのモード（静的、テンプレートベース、自由入力）を通じてLLMプロンプトにマッピングするプロンプトミドルウェアフレームワークを設計する。
• ユーザーがUIメニューから選択した選択肢を、事前に定義されたテンプレートを用いて自然言語プロンプトに組み立てるテンプレートベースのプロンプト生成を採用する。
• 微調整を行わず、GPT-3にゼロショットプロンプトをAPI経由で送信する。
• フィードバック設計の原則（例：批判を前後にポジティブなフィードバックで挟む、行動可能性のあるフィードバック）をテンプレート構造に統合し、フィードバックの質を向上させる。
• ユーザーがUIでフィードバックタイプ（例：構成、トーン、明確さ）を選択できるように、プロトタイプのライティングアシスタント「FeedbackBuffet」を構築する。選択された選択肢はGPT-3用のプロンプトに変換される。
• LLMの複雑さをUIのファサードとして抽象化し、非エキスパートユーザーがプロンプトをゼロから書くことなく、LLMの機能を活用できるようにする。

Figure 1. Three methods to connect user interface components to large language models. 1) static prompts are predefined prompts that can be selected directly from the UI, 2) template-based prompts generate prompts based on selected options in the UI, 3) free-form prompts provide a direct way of inte

実験結果

リサーチクエスチョン

• RQ1 非エキスパートユーザーを支援するために、ユーザーインターフェースのアフォーダンスを大規模言語モデルのプロンプトに効果的にマッピングする方法は何か？
• RQ2 インタラクティブなLLMアプリケーションにおいて、静的、テンプレートベース、自由入力のプロンプト生成の相対的な利点と制限は何か？
• RQ3 テンプレートを用いた構造的なプロンプト生成が、実世界のライティング支援タスクにおけるLLM出力の質と一貫性を向上させられるか？
• RQ4 専門家が設計したプロンプトのパスを提供することで、エンドユーザーのプロンプト工学の認知的負担はどの程度軽減されるか？
• RQ5 UIベースのミドルウェアフレームワークは、ユーザーがプロンプト工学を理解しなくても、LLMの機能をどの程度効果的に公開できるか？

主な発見

• FeedbackBuffetは、ユーザーが選択したオプションを構造的なテンプレートに従って組み合わせることで、GPT-3のプロンプトを生成し、高品質で実行可能なフィードバックを効果的に提供した。
• 専門家が設計したテンプレートの使用により、ユーザーがプロンプトをゼロから作成する必要が減り、LLMの有効な利用の障壁が低下した。
• テンプレートベースのプロンプトは、フィードバック設計のベストプラクティス（例：ポジティブ・ネガティブ・ポジティブ構造）を出力全体に一貫して適用可能であった。
• フレームワークは、UIコンポーネントがLLMとのインタラクションのファサードとして効果的に機能できることを示した。これにより、プロンプトの複雑さが抽象化された。
• ユーザーがフィードバックに基づいて執筆を改善し、システムを再び利用するという繰り返しのインタラクションが可能であることが確認された。
• 著者らは、プロンプトミドルウェアが、特別なモデルや高価なヒューマンインザループシステムを必要とせず、LLMの機能をUIに軽量かつスケーラブルに統合する方法であると結論づけている。

Figure 2. FeedbackBuffet enables users to insert writing samples (1) and select from a set of predefined options for the type of feedback they want to receive (2). Using a template, these options are combined to form a prompt (3) which is sent to GPT-3 using OpenAI’s public API (4). GPT-3 then gener