[논문 리뷰] SPELL: Semantic Prompt Evolution based on a LLM

Yujian Li, Kai Wu|arXiv (Cornell University)|2023. 10. 02.

Topic Modeling인용 수 5

한 줄 요약

SPELL는 대규모 언어 모델(Large Language Model, LLM)을 의미적 텍스트 생성기로 활용하여 진화 계산을 통해 유의미하고 고성능의 프롬프트를 진화시키는 블랙박스 프롬프트 최적화 방법을 제안한다. 재생산과 선택을 통해 LLM이 유창하고 전역적으로 최적화된 프롬프트를 생성함으로써 SPELL은 뛰어난 성능 향상을 이룩한다—예를 들어 SST-2에서 89.2%의 정확도를 달성하며, 더 적은 라운드 수로 다른 블랙박스 방법들을 능가한다.

ABSTRACT

Prompt engineering is a new paradigm for enhancing the performance of trained neural network models. For optimizing text-style prompts, existing methods usually individually operate small portions of a text step by step, which either breaks the fluency or could not globally adjust a prompt. Since large language models (LLMs) have powerful ability of generating coherent texts token by token, can we utilize LLMs for improving prompts? Based on this motivation, in this paper, considering a trained LLM as a text generator, we attempt to design a black-box evolution algorithm for automatically optimizing texts, namely SPELL (Semantic Prompt Evolution based on a LLM). The proposed method is evaluated with different LLMs and evolution parameters in different text tasks. Experimental results show that SPELL could rapidly improve the prompts indeed. We further explore the evolution process and discuss on the limitations, potential possibilities and future work.

연구 동기 및 목표

• 기존 프롬프트 최적화 방법이 局부적으로 프롬프트를 수정하여 유창성과 의미적 일관성을 떨어뜨리는 한계를 해결하기 위해.
• 대규모 언어 모델(LLM)이 고품질의 의미적으로 일관된 프롬프트를 진화시키는 데 효과적인 생성기로 기능할 수 있는지 탐색하기 위해.
• 타겟 모델의 기울기 접근이 불가능한 블랙박스 설정에서 프롬프트를 최적화하는 진화 프레임워크를 개발하기 위해.
• 다양한 LLM과 진화 하이퍼파rameter의 조합이 프롬프트 품질과 작업 성능에 미치는 영향을 평가하기 위해.
• 제안된 의미적 프롬프트 진화 과정의 안정성, 일관성, 확장성 분석하기 위해.

제안 방법

• SPELL는 프롬프트 개체의 집단을 유지하고, 재생산과 선택 메커니즘을 통해 세대에 걸쳐 이를 진화시킨다.
• 재생산은 기존 프롬프트를 개선하거나 재작성하도록 사전 훈련된 LLM을 프롬프트하여 후손을 생성한다. 이 과정에서 적합도 피드백을 기반으로 한다.
• LLM은 전체 프롬프트 컨텍스트를 토큰 단위로 모델링함으로써 의미적 일관성과 전역 최적화를 보장하는 텍스트 생성기로 기능한다.
• 선택은 부모와 후손의 융합된 집단에서 가장 적합한 개체를 유지하며, 검증 세트에서의 정확도를 적합도 지표로 사용한다.
• 이 방법은 기울기나 파라미터 접근이 불필요한 블랙박스 설정에서 작동하며, 타겟 모델의 추론 접근만 필요로 한다.
• 진화는 T세대에 걸쳐 진행되며, 인구 수(N_POP), 선택 k, 적합도 함수 등의 하이퍼파라미터를 조정하여 탐색과 이용의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(LLM)이 의미적 생성기로 효과적으로 기능하여 의미적으로 일관되고 고성능의 프롬프트를 진화시킬 수 있는가?
• RQ2 SPELL은 기존 블랙박스 프롬프트 최적화 방법과 비교해 성능과 수렴 속도 측면에서 어떻게 다른가?
• RQ3 생성기로 사용되는 다양한 LLM이 진화된 프롬프트의 품질과 안정성에 어떤 영향을 미치는가?
• RQ4 인구 수와 선택 k와 같은 핵심 하이퍼파라미터가 최적화 결과에 어떤 영향을 미치는가?
• RQ5 특히 불안정성과 일관성 측면에서, LLM을 의미적 프롬프트 진화에 사용할 때의 한계와 과제는 무엇인가?

주요 결과

• SPELL는 SST-2 벤치마크에서 89.2%의 정확도를 기록했으며, 제로샷 설정에서 BBT(88.2%)와 RLPrompt(90.5%)를 모두 능가했다.
• 기존의 블랙박스 방법보다 훨씬 적은 최적화 라운드를 요구했다—예를 들어 5토큰 프롬프트의 경우 3,000 라운드 미만으로 수렴함을 보여주었다.
• 타겟 모델의 정확도를 적합도 함수로 사용할 경우, 교차 엔트로피 손실을 사용하는 것보다 더 좋은 결과를 얻었다. 이는 LLM이 손실 신호를 효과적으로 해석하지 못할 수 있음을 시사한다.
• 더 크고 능력이 뛰어난 LLM, 예를 들어 ERNIE-Bot와 Llama2-13B를 생성기로 사용할 경우, BLOOMZ와 같은 더 작은 또는 맞춤화가 덜 된 모델보다 더 높은 성능의 프롬프트를 생성했다.
• 인구 수와 선택 k는 성능에 명백한 영향을 미쳤다—너무 작거나 너무 큰 인구 수는 성능 저하를 초래했으며, 최적의 균형은 N_POP=20과 k=16에서 도출되었다.
• 생성 과정에서의 랜덤성으로 인한 성능 변동에도 불구하고, 진화된 프롬프트는 의미적으로 일관되고 자연스럽게 유지되었으며, 예를 들어 '이 문장의 감정을 알려줄 수 있나요?'와 같은 예시에서 이를 입증했다.