[논문 리뷰] PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization

Xinyuan Wang, Chenxi Li외 7명|arXiv (Cornell University)|2023. 10. 25.

Topic Modeling인용 수 5

한 줄 요약

PromptAgent는 몬테카를로 트리 탐색(MCTS)을 사용하여 프롬프트 최적화를 전략적 계획 문제로 재정의하는 혁신적인 프레임워크이다. 모델의 오류를 반복적으로 점검하고 자가 생성된 피드백을 통해 프롬프트를 개선함으로써 전문가가 수작업으로 작성한 프롬프트 수준의 성능을 달성하며, 12개의 다양한 NLP 작업에서 강력한 베이스라인인 체인오브thought과 APE를 크게 능가한다.

ABSTRACT

Highly effective, task-specific prompts are often heavily engineered by experts to integrate detailed instructions and domain insights based on a deep understanding of both instincts of large language models (LLMs) and the intricacies of the target task. However, automating the generation of such expert-level prompts remains elusive. Existing prompt optimization methods tend to overlook the depth of domain knowledge and struggle to efficiently explore the vast space of expert-level prompts. Addressing this, we present PromptAgent, an optimization method that autonomously crafts prompts equivalent in quality to those handcrafted by experts. At its core, PromptAgent views prompt optimization as a strategic planning problem and employs a principled planning algorithm, rooted in Monte Carlo tree search, to strategically navigate the expert-level prompt space. Inspired by human-like trial-and-error exploration, PromptAgent induces precise expert-level insights and in-depth instructions by reflecting on model errors and generating constructive error feedback. Such a novel framework allows the agent to iteratively examine intermediate prompts (states), refine them based on error feedbacks (actions), simulate future rewards, and search for high-reward paths leading to expert prompts. We apply PromptAgent to 12 tasks spanning three practical domains: BIG-Bench Hard (BBH), as well as domain-specific and general NLP tasks, showing it significantly outperforms strong Chain-of-Thought and recent prompt optimization baselines. Extensive analyses emphasize its capability to craft expert-level, detailed, and domain-insightful prompts with great efficiency and generalizability.

연구 동기 및 목표

• 심층적인 도메인 지식과 세부 지침을 통합한 전문가 수준의 프롬프트 자동 생성을 목적으로 한다.
• 히우리스틱 검색에 의존하고 전문가 수준의 프롬프트 구조에 도달하지 못하는 기존 프롬프트 최적화 방법의 한계를 해결한다.
• 프롬프트 최적화를 계획 문제로 모델링하여 광범위한 프롬프트 공간에서 자율적이고 전략적인 탐색을 가능하게 한다.
• 사람의 간섭 없이도 세부적이고 구조적이며 도메인 통찰력을 담은 프롬프트를 생성하여 다양한 NLP 작업에서 성능을 향상시킨다.
• LLM이 오류 분석과 자가 반성으로 프롬프트를 자율적으로 개선하여 전문가의 인간 행동을 모방할 수 있음을 입증한다.

제안 방법

• 몬테카를로 트리 탐색(MCTS)을 활용해 프롬프트 공간을 효율적으로 탐색함으로써 프롬프트 최적화를 전략적 계획 문제로 재정의한다.
• 각 프롬프트를 트리의 상태로 간주하고, 오류 피드백 기반의 프롬프트 개선 조치를 액션으로 간주한다.
• 모델 예측을 분석하고 일치하지 않는 부분을 식별함으로써 오류에 기반한 유의미한 피드백을 자가 반성 기반으로 생성한다.
• 시뮬레이션된 미래 보상을 활용해 탐색을 이끌며, 보상 결과를 역전파하여 프롬프트 품질에 대한 믿음 추정치를 업데이트한다.
• 초기 수작업 프롬프트에서 시작하여 오류 기반 개선과 전망 계획을 반복적으로 적용해 향상시킨다.
• 작업 설명, 예외 처리, 포맷팅 등 구조적 복잡성과 도메인 특화 통찰을 반복적 개선을 통해 통합한다.

실험 결과

연구 질문

• RQ1 LLM이 인간 간섭 없이 수작업 프롬프트 수준의 품질에 도달하거나 초월하는 전문가 수준의 프롬프트를 자율적으로 생성할 수 있는가?
• RQ2 MCTS와 같은 계획 기반 접근 방식이 복잡하고 고차원적인 전문가 수준의 프롬프트 공간을 효과적으로 탐색할 수 있는가?
• RQ3 모델 오류에 대한 자가 반성이 생성된 프롬프트의 품질과 깊이를 어떻게 향상시키는가?
• RQ4 이 방법이 다양한 NLP 작업과 도메인으로 일반화되는 정도는 어느 정도인가?
• RQ5 전략적 계획 프레임워크가 히우리스틱 또는 기울기 기반 프롬프트 최적화 베이스라인을 능가하는가?

주요 결과

• CB 작업에서 PromptAgent는 테스트 정확도 0.886을 기록하여 수작업 프롬프트(0.742)와 APE(0.834)를 크게 능가했다.
• CB 작업에서 PromptAgent는 정확도 0.911을 달성하여 APE 베이스라인(0.8036)을 초월했으며, 뛰어난 추론 구조와 명확성도 확보했다.
• 이 방법은 자동으로 복잡한 전문가 수준의 프롬프트 구조—작업 설명, 용어 정의, 해법 안내, 예외 처리, 포맷팅 등—을 발견했다.
• PromptAgent는 BIG-Bench Hard, 도메인 특화 및 일반 NLP 벤치마크에서 12개의 다양한 작업에서 체인오브thought과 APE와 같은 강력한 베이스라인을 일관되게 능가했다.
• 자기 반성 기반 오류 분석을 통해 도메인 특화 통찰과 세부 지침을 효과적으로 유도하여 전문가 수준의 프롬프트 행동을 모방했다.
• 광범위한 아블레이션 및 분석 결과, 오류 피드백과 전망 계획이 이 방법의 성공에 핵심 요소였으며, 이들 구성 요소를 제거할 경우 성능이 급격히 저하됨을 확인했다.