[論文レビュー] PromptAid: Prompt Exploration, Perturbation, Testing and Iteration using Visual Analytics for Large Language Models

Aditi Mishra, Utkarsh Soni+4 more|arXiv (Cornell University)|Apr 4, 2023

Explainable Artificial Intelligence (XAI)被引用数 21

ひとこと要約

PromptAid は、非専門家が LLM のプロンプトを作成、撹乱、テスト、反復するのを支援するビジュアル分析システムで、キーワード撹乱、言い換え、および文脈内の例を用いて、グローバルおよびインスタンスレベルの分析を行います。

ABSTRACT

Large Language Models (LLMs) have gained widespread popularity due to their ability to perform ad-hoc Natural Language Processing (NLP) tasks with a simple natural language prompt. Part of the appeal for LLMs is their approachability to the general public, including individuals with no prior technical experience in NLP techniques. However, natural language prompts can vary significantly in terms of their linguistic structure, context, and other semantics. Modifying one or more of these aspects can result in significant differences in task performance. Non-expert users may find it challenging to identify the changes needed to improve a prompt, especially when they lack domain-specific knowledge and lack appropriate feedback. To address this challenge, we present PromptAid, a visual analytics system designed to interactively create, refine, and test prompts through exploration, perturbation, testing, and iteration. PromptAid uses multiple, coordinated visualizations which allow users to improve prompts by using the three strategies: keyword perturbations, paraphrasing perturbations, and obtaining the best set of in-context few-shot examples. PromptAid was designed through an iterative prototyping process involving NLP experts and was evaluated through quantitative and qualitative assessments for LLMs. Our findings indicate that PromptAid helps users to iterate over prompt template alterations with less cognitive overhead, generate diverse prompts with help of recommendations, and analyze the performance of the generated prompts while surpassing existing state-of-the-art prompting interfaces in performance.

研究の動機と目的

• 非専門家が LLM の最適なプロンプトを作成するのが困難であるという課題に対処する。
• プロンプト空間を探索し、グローバルおよびインスタンスレベルで性能を分析するためのビジュアル分析インタフェースを提供する。
• 言語的および文脈的撹乱（キーワード、パラフレーズ、k-shot の例）に対する半自動的な推奨を提供する。
• 分布内データおよび分布外データでのプロンプトの反復的な改善とテストをサポートする。

提案手法

• モデル/ドメイン選択、プロンプト探索、インスタンスレベル分析、バージョン比較、撹乱推奨、テストをサポートする6つの連結パネルを備えた PromptAid を開発する。
• プロンプトを潜在埋め込み空間に埋め込み、類似度でクラスタリングして探索する。
• キーワードには KD-Trees、パラフレーズには Parrot、k-shot の例には KNN を用いて撹乱推奨を計算する。
• テストセット上のヒューリスティック精度を用いて次のステップの指針となる撹乱感度を導く。
• 分布内データ点および分布外データ点でのテストを組み込み、プロンプトを評価する。
• ケーススタディと非専門者を対象とした被験者内ユーザ研究を通じてシステムを検証する。

実験結果

リサーチクエスチョン

• RQ1 非専門家は視覚的分析を用いて、LLM のプロンプトテンプレートをどのように効果的に探索・最適化できるか？
• RQ2 ゼロショットおよび few-shot 設定で、どの撹乱戦略（言語的および文脈的）が最もプロンプト性能を向上させるか？
• RQ3 インタラクティブな可視化は、プロンプトの反復とテストを案内しつつ、認知的負荷を低減できるか？
• RQ4 ベースラインの prompting インターフェースと比較して、半自動的推奨はプロンプト性能を改善するか？

主な発見

• PromptAid は、認知的負荷を低減した状態で、反復的なプロンプトテンプレートの変更を可能にする。
• 推奨に助けられて多様なプロンプトを生成し、それらの性能を効果的に分析する。
• PromptAid は、テストされたタスクでより高い性能を実現することにおいて、既存の prompting インターフェースを上回る。
• PromptAid を利用するユーザーは、インタラクティブな可視化と撹乱推奨の有用性が高いと報告した。