[논문 리뷰] Revisiting Prompt Engineering via Declarative Crowdsourcing

Aditya Parameswaran, Shreya Shankar외 3명|arXiv (Cornell University)|2023. 08. 07.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 LLM을 노이즈가 있는 오라클로 간주하고 선언적 크라우드소싱 원칙을 차용하여 비용 및 품질을 고려한 다단계 데이터 처리 워크플로우를 생성하는 선언적 프롬프트 엔지니어링을 제안한다.

ABSTRACT

Large language models (LLMs) are incredibly powerful at comprehending and generating data in the form of text, but are brittle and error-prone. There has been an advent of toolkits and recipes centered around so-called prompt engineering-the process of asking an LLM to do something via a series of prompts. However, for LLM-powered data processing workflows, in particular, optimizing for quality, while keeping cost bounded, is a tedious, manual process. We put forth a vision for declarative prompt engineering. We view LLMs like crowd workers and leverage ideas from the declarative crowdsourcing literature-including leveraging multiple prompting strategies, ensuring internal consistency, and exploring hybrid-LLM-non-LLM approaches-to make prompt engineering a more principled process. Preliminary case studies on sorting, entity resolution, and imputation demonstrate the promise of our approach

연구 동기 및 목표

• 생산 데이터 워크플로우를 위한 프롬프트 엔지니어링에 대해 원칙적이고 선언적 접근을 고취한다.
• 비용 및 정확도 예산을 반영하여 작업을 단위 LLM 호출로 분해하기 위해 선언적 크라우드소싱 아이디어를 활용한다.
• 다양한 프롬프트, 하이브리드 거친-정밀 프롬프트, 일관성 보장을 포함한 전략을 탐색하여 신뢰성과 효율성을 향상시킨다.
• 정렬, 엔티티 해상도, 누락 값 보정과 같은 사례 연구에서 이 접근법을 시연한다.

제안 방법

• 예산 및 정확도 제약하에 데이터 프리미티브(정렬, 필터링, 조인, 분류, 클러스터링, 찾기, 채우기, 해결)를 데이터 세트에 적용하기 위해 도구 키트(예: LangChain) 주위의 래퍼 개념을 제시한다.
• 작업 분해, 일관성 보장, 비용-정확도 트레이드를 관리하기 위한 하이브리드 비-LLM 프록시를 포함하여 LLM 워크플로에 크라우드소싱 원칙을 적용한다.
• 정렬에 대한 프롬프트 전략(단일 작업 대 쌍 비교 대 평가)을 평가하여 정확도-비용 곡선을 비교한다.
• 큰 아이템 집합을 다루고 환상을 줄이기 위해 거칠-정밀 프롬프트(정렬 후 삽입)를 제안한다.
• 엔티티 해상도와 같은 배치 작업의 정확도 향상을 위해 내부 일관성 검사(추이성 강제)를 도입한다.
• 정확도 유지하면서 LLM 사용량을 줄이기 위한 하이브리드 LLM/비-LLM 전략(예: k-NN 프록시, 임베딩)을 논의한다.
• 크라우드소싱에서 영감을 받은 품질 관리 메커니즘(검증 세트, 교차 LLM 검사, 편향 제거, 보정)을 개략적으로 제시한다.

실험 결과

연구 질문

• RQ1 선언적 크라우드소싱 원칙을 프롬프트 엔지니어링에 적용하여 LLM-구동 데이터 워크플로의 비용 및 정확도 트레이드를 개선할 수 있는가?
• RQ2 닫힌 데이터 작업에 대해 어떤 프롬프트 전략과 작업 분해가 확장성과 신뢰성을 더 잘 제공하는가?
• RQ3 하이브리드 거칠-정밀 프롬프트와 일관성 보장이 환각을 줄이고 낮은 비용으로 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 비-LLM 프록시 및 품질 관리 기법을 생산 워크플로에서 LLM 사용을 최적화하도록 어떻게 통합할 수 있는가?

주요 결과

• 정렬에 대한 페어와이즈 프롬 prompting은 기반 단일 프롬프트에 비해 정확도는 높지만 비용이 더 높다.
• 거칠-정밀 하이브리드 프롬 prompting(정렬 후 삽입)은 큰 아이템 집합에서 정확도를 크게 높이고 누락 항목을 줄인다.
• 페어와이즈 비교 간 추이성 강제를 포함한 내부 일관성 보장은 엔티티 해상도 작업의 F1 점수를 증가시킨다.
• 비-LLM 프록시(k-NN, 임베딩)와 LLM을 혼합한 하이브리드 접근은 LLM 사용 비용을 크게 줄이면서도 비슷한 정확도를 달성할 수 있다.
• 품질 관리 메커니즘 및 검증 기반 정확도 추정은 비용과 정확도 사이의 균형을 맞추는 적응형 쿼리 전략을 지원한다.
• 다양한 전략 간의 비용-정확도 프로파일 차이를 실증적 사례 연구를 통해 보여주며, 다양한 작업 분해를 모색하는 가치를 강조한다.