[논문 리뷰] What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use

Qianou Ma, Weirui Peng외 4명|arXiv (Cornell University)|2024. 09. 13.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 초보자들이 효과적인 LLM 프롬프팅을 위해 명확하고 완전한 요구사항을 명시할 수 있도록 돕는 훈련 철학인 요구사항 중심 프롬프트 엔지니어링(ROPE)을 소개한다. LLM이 생성한 피드백을 통한 의도적인 연습을 통해 ROPE는 기존 훈련 대비 초보자들의 프롬프팅 성능을 두 배로 높이며, 높은 품질의 요구사항이 높은 품질의 LLM 출력을 직접 가능하게 한다는 것을 입증한다.

ABSTRACT

Prompting LLMs for complex tasks (e.g., building a trip advisor chatbot) needs humans to clearly articulate customized requirements (e.g., "start the response with a tl;dr"). However, existing prompt engineering instructions often lack focused training on requirement articulation and instead tend to emphasize increasingly automatable strategies (e.g., tricks like adding role-plays and "think step-by-step"). To address the gap, we introduce Requirement-Oriented Prompt Engineering (ROPE), a paradigm that focuses human attention on generating clear, complete requirements during prompting. We implement ROPE through an assessment and training suite that provides deliberate practice with LLM-generated feedback. In a randomized controlled experiment with 30 novices, ROPE significantly outperforms conventional prompt engineering training (20% vs. 1% gains), a gap that automatic prompt optimization cannot close. Furthermore, we demonstrate a direct correlation between the quality of input requirements and LLM outputs. Our work paves the way to empower more end-users to build complex LLM applications.

연구 동기 및 목표

• 최근 프롬프트 최적화 기술의 발전에도 불구하고, 초보자 사용자들이 LLM 프롬프팅에서 맞춤형 요구사항을 효과적으로 전달하는 데 어려움을 겪는 문제를 해결하기 위해.
• 구문적 프롬프트 최적화에서 요구사항 명시로의 초점을 이동시켜, 프롬프트 엔지니어링의 핵심 기술로 삼기 위해.
• 복잡한 LLM 작업을 위한 완전하고 구체적인 요구사항을 작성할 수 있는 능력을 향상시키기 위한 훈련 시스템을 설계하고 평가하기 위해.
• LLM이 요구사항 품질에 대해 대상화되고 다중 모odal인 피드백을 제공함으로써 반복적인 개선을 이끌어내는 피드백 루프를 구축하기 위해.
• 다른 프롬프팅 기법이 최적화되어 있더라도, 요구사항 품질이 LLM 출력 효과성의 주요 결정 요소임을 입증하기 위해.

제안 방법

• 사용자가 LLM이 생성한 요구사항 품질 피드백을 바탕으로 반복적으로 프롬프트를 개선하는 의도적인 연습 중심의 훈련 세트를 개발했다.
• 30명의 초보자로 구성된 사전-사후 실험 설계를 구현하여 요구사항 품질과 최종 프롬프트 효과성 모두를 평가했다.
• 요구사항의 완전성과 구체성과 실제 LLM 출력 품질을 연결하는 평가 도구를 설계하였으며, 반복적 작업 복제(예: Trip Advisor 챗봇 재현)를 통해 균형을 맞췄다.
• 사용자가 요구사항을 개선할 수 있도록, 명확화, 제안, 오해의 원인 설명을 포함한 다중 모달 피드백을 LLM으로부터 통합했다.
• 내재적 지표(예: 완전성, 구체성)와 외재적 지표(예: 작업 성공률, 출력 정확도)를 사용해 요구사항 품질을 정의하고 측정했다.
• LLM을 활용해 요구사항 해석의 편향을 시뮬레이션하고 드러내어, 모호하거나 너무 광범위한 요구사항을 수정하도록 유도했다.

Figure 1 . We propose Requirement-Oriented-Prompt Engineering (ROPE) to help novices write effective prompt programs by focusing on articulating good requirements. (A) Our training provides deliberate practice in refining requirements, with automated feedback across various modalities. (B) We provid

실험 결과

연구 질문

• RQ1 요구사항 명시에 중점을 둔 훈련이 복잡한 LLM 작업을 위한 효과적인 프롬프트를 생성하는 데 있어 초보자 사용자의 능력을 뚜렷이 향상시키는가?
• RQ2 ROPE 훈련은 전통적인 프롬프트 엔지니어링 훈련에 비해 프롬프팅 성능과 요구사항 품질 측면에서 어떻게 비교되는가?
• RQ3 다른 프롬프팅 기법이 최적화되어 있더라도, LLM 출력 품질이 입력 요구사항의 품질에 의해 결정되는 정도는 어느 정도인가?
• RQ4 특히 누락되거나 모호한 요소를 식별하는 데 있어, LLM이 생성한 피드백이 사용자의 요구사항 개선 능력을 효과적으로 이끄는가?
• RQ5 사용자의 요구사항 명시 능력은 작업 복잡도와 영역 전문성에 따라 어떻게 달라지며, 훈련은 이러한 차이에 어떻게 대응할 수 있는가?

주요 결과

• ROPE 훈련은 전통적인 프롬프트 엔지니어링 훈련 대비 초보자들의 프롬프팅 성능을 두 배로 높였으며, 요구사항 품질과 최종 출력 효과성 모두에서 통계적으로 유의미한 향상이 있었다.
• 다른 프롬프팅 기법이 동일하게 유지된 상태에서도 입력 요구사항의 품질이 LLM 출력 품질의 가장 강력한 예측 변수였다.
• ROPE로 훈련된 초보자들은 다양한 입력을 처리하거나 예외 케이스를 관리하는 등의 핵심 행동 요구사항을 명시하는 데 뚜렷한 향상이 있었다.
• LLM이 생성한 요구사항 피드백은 사용자가 프롬프트 내에서 모호함과 누락 요소를 식별하고 수정하는 데 능력을 크게 향상시켰다.
• ROPE 그룹에 속한 참가자들은 대조군에 비해 '추가 질문을 묻기'나 '모호한 입력을 처리하기'와 같은 핵심 요구사항을 더 자주 포함했다.
• 연구 결과, 심지어 숙련된 사용자들도 LLM이 어려워하는 요구사항을 명시하는 데 실패하는 경우가 많다는 점이 드러나, 요구사항 명시에 대한 체계적인 훈련의 필요성을 강조한다.

Figure 2 . Automatically refine a user’s prompt for Trip Advisor using the optimizer Prompt Maker. Customized requirements still need to come from the human prompt, while the optimizer improves on fluency, role plays, structures, etc.