[論文レビュー] PromptChainer: Chaining Large Language Model Prompts through Visual Programming

Tongshuang Wu, Ellen Jiang+5 more|arXiv (Cornell University)|Mar 12, 2022

Software Engineering Research被引用数 8

ひとこと要約

PromptChainer は、ノードベースのワークフローを通じて、非専門家が大規模言語モデル（LLM）プロンプトの連鎖を視覚的・インタラクティブに作成・デバッグできる視覚プログラミングインターフェースです。段階間のデータ変換、関数シグネチャの定義、細粒度のデバッグをサポートしており、複雑な LLM アプリケーションのプロトタイピングにおける透明性と制御性を顕著に向上させます。

ABSTRACT

While LLMs can effectively help prototype single ML functionalities, many real-world applications involve complex tasks that cannot be easily handled via a single run of an LLM. Recent work has found that chaining multiple LLM runs together (with the output of one step being the input to the next) can help users accomplish these more complex tasks, and in a way that is perceived to be more transparent and controllable. However, it remains unknown what users need when authoring their own LLM chains -- a key step for lowering the barriers for non-AI-experts to prototype AI-infused applications. In this work, we explore the LLM chain authoring process. We conclude from pilot studies find that chaining requires careful scaffolding for transforming intermediate node outputs, as well as debugging the chain at multiple granularities; to help with these needs, we designed PromptChainer, an interactive interface for visually programming chains. Through case studies with four people, we show that PromptChainer supports building prototypes for a range of applications, and conclude with open questions on scaling chains to complex tasks, and supporting low-fi chain prototyping.

研究の動機と目的

• LLM チェーン作成における主な課題、特に AI 専門家でないユーザーの視点から同定・解決すること。
• ユーザーがチェーンの各ステップ間で中間 LLM 出力を変換できるように支援すること。
• 特に LLM の不安定性に起因する累積的エラーに対応する、複数の粒度でのデバッグを可能にすること。
• 視覚プログラミングが、LLM の能力やタスクの分解に関するメンタルモデルをどのように支援するかを調査すること。
• 完全なプロンプト工学を始める前の段階で、低精細度のプロトタイピングを支援する方法を調査すること。

提案手法

• チェーンビューを用いてノードとエッジの関係を構造化し、ノードビューで個々の LLM プロンプトを編集できる視覚的インターフェースの設計。
• 各 LLM ノードに関数シグネチャを実装し、入出力フォーマットを標準化し、組み合わせのしやすさを向上。
• エンドツーエンド実行と選択的ノード実行をサポートすることで、段階的テストとデバッグを可能に。
• LLM がネイティブにサポートしないデータ変換や後処理を処理するため、JavaScript ヘルパー ノードを統合。
• 実行の可視化とトレース機能を提供し、入力がチェーン全体にどのように伝搬されるかを追跡可能に。
• 開発中に段階的にプロンプトを改善できるように、プレースホルダ ノードを用いたプロトタイピングと反復的改善を可能に。

Figure 1 . The PromptChainer interface. (A) The Chain View visualizes the chain structure with node-edge diagrams (enlarged in Figure 3 ), and allows users to edit the chain by adding, removing, or reconnecting nodes. (B) The Node View supports implementing, improving, and testing each individual no

実験結果

リサーチクエスチョン

• RQ1 複雑なタスクに向けた LLM プロンプト連鎖の作成において、非専門家ユーザーが直面する主な課題は何か？
• RQ2 視覚プログラミングインターフェースは、複数の LLM ステップにまたがるデータ変換とデバッグをどのように支援できるか？
• RQ3 インタラクティブなフィードバックは、チェーン開発中の LLM プロンプトの改善にどのような役割を果たすか？
• RQ4 LLM でプロトタイピングを行う際、ユーザーはタスクの分解とチェーン構造設計をどのように実施するか？
• RQ5 初期段階での作業負荷を軽減するため、LLM チェーンの低精細度プロトタイピングに必要な支援とは何か？

主な発見

• ユーザーは LLM の制限を克服するだけでなく、プロトタイプの拡張性と保守性を高めるためにもチェーンを構築していた。
• 参加者たちは、インターフェースとのインタラクションを通じて、事前に用意したプロンプトを頻繁に見直し、ノード間の相互作用を観察することで、プロンプトの振る舞いに関する理解が変化していることが明らかになった。
• JavaScript ヘルパー ノードの使用により、物語に「The End」を追加するなど、プロンプトのみでは信頼性が確保できない後処理も効果的に実現できた。
• 並列で相互に依存するサブタスクを含むチェーンでは、累積的エラーと一貫性の欠如が生じやすく、たとえば物語生成における一貫性のない展開が顕在化した。
• 特にノードが複数の出力を生成する場合（例：エンティティ抽出）に、入力から出力への対応関係が曖昧になり、トレースの強化の必要性が浮き彫りになった。
• ユーザーは多様な戦略を用いており、一部は段階的に構築し、他は最初から全体の構造をスケッチするなど、チェーン作成に関する異なるメンタルモデルを示していた。

Figure 2 . An example chain for prototyping music chatbot, modified from a pilot user’s chain (its overview is in Figure 1 ). We provide primary input-output examples, and annotate the node functionalities are annotated inline.