[논문 리뷰] PromptAid: Prompt Exploration, Perturbation, Testing and Iteration using Visual Analytics for Large Language Models

Aditi Mishra, Utkarsh Soni외 4명|arXiv (Cornell University)|2023. 04. 04.

Explainable Artificial Intelligence (XAI)인용 수 21

한 줄 요약

PromptAid는 키워드 교란, 의역, 맥락 내 예시를 사용하여 LLM용 프롬프트를 비전문가가 설계·교란·테스트·반복하도록 돕는 시각 분석 시스템입니다.

ABSTRACT

Large Language Models (LLMs) have gained widespread popularity due to their ability to perform ad-hoc Natural Language Processing (NLP) tasks with a simple natural language prompt. Part of the appeal for LLMs is their approachability to the general public, including individuals with no prior technical experience in NLP techniques. However, natural language prompts can vary significantly in terms of their linguistic structure, context, and other semantics. Modifying one or more of these aspects can result in significant differences in task performance. Non-expert users may find it challenging to identify the changes needed to improve a prompt, especially when they lack domain-specific knowledge and lack appropriate feedback. To address this challenge, we present PromptAid, a visual analytics system designed to interactively create, refine, and test prompts through exploration, perturbation, testing, and iteration. PromptAid uses multiple, coordinated visualizations which allow users to improve prompts by using the three strategies: keyword perturbations, paraphrasing perturbations, and obtaining the best set of in-context few-shot examples. PromptAid was designed through an iterative prototyping process involving NLP experts and was evaluated through quantitative and qualitative assessments for LLMs. Our findings indicate that PromptAid helps users to iterate over prompt template alterations with less cognitive overhead, generate diverse prompts with help of recommendations, and analyze the performance of the generated prompts while surpassing existing state-of-the-art prompting interfaces in performance.

연구 동기 및 목표

• 비전문가가 LLM용 최적 프롬프트를 설계하는 데 어려움을 겪는 문제를 해결한다.
• 프롬프트 공간을 탐색하고 전역(global) 및 인스턴스 수준에서 성능을 분석하기 위한 시각 분석 인터페이스를 제공한다.
• 언어적 및 맥락적 교란(키워드, 의역, k-shot 예시)에 대한 반자동 추천을 제공한다.
• 데이터에 대해 분포 내(distribution) 및 분포 외(out-of-distribution) 데이터에서 반복적 프롬프트 개선 및 테스트를 지원한다.

제안 방법

• 모델/도메인 선택, 프롬프트 탐색, 인스턴스 수준 분석, 버전 비교, 교란 권고 및 테스트를 지원하는 여섯 개 연결된 패널로 PromptAid를 개발한다.
• 잠재 임베딩 공간에 프롬프트를 내재화하고 유사도에 따라 클러스터링하여 탐색을 용이하게 한다.
• 키워드의 KD-트리, 의역은 Parrot, k-shot 예시는 KNN을 사용하여 교란 권고를 계산한다.
• 다음 단계 지침을 유도하기 위해 테스트 세트의 정확도에 기반한 휴리스틱을 사용하여 교란 민감도(perturbation sensitivities)를 결정한다.
• 프롬프트를 평가하기 위해 분포 내 및 분포 외 데이터 포인트에서의 테스트를 포함한다.
• 비전문가 대상의 사례 연구 및 피실험자 내 연구를 통해 시스템을 검증한다.

실험 결과

연구 질문

• RQ1 시각 분석을 통해 비전문가가 LLM용 프롬프트 템플릿을 효과적으로 탐색하고 최적화할 수 있을까?
• RQ2 제로샷 및 소수-shot 설정에서 프롬프트 성능을 가장 개선하는 교란 전략(언어적 및 맥락적)은 무엇일까?
• RQ3 인터랙티브 시각화가 인지 부담을 줄이면서 프롬프트 반복 및 테스트를 이끌 수 있을까?
• RQ4 반자동 권고가 기존 프롬 prompting 인터페이스에 비해 프롬프트 성능을 개선하는가?

주요 결과

• PromptAid는 인지 부담을 감소시키면서 프롬프트 템플릿의 반복적 변경을 가능하게 한다.
• 시스템은 권고에 의해 다양한 프롬프트를 생성하고 그들의 성능을 효과적으로 분석한다.
• PromptAid는 테스트된 작업에서 더 높은 성능을 가능하게 하는 기존 프롬 prompting 인터페이스를 능가한다.
• PromptAid를 활용한 사용자는 인터랙티브 시각화 및 교란 권고의 높은 유용성을 보고했다.