[논문 리뷰] Prompt Space Optimizing Few-shot Reasoning Success with Large Language Models

Fobo Shi, Peijun Qing외 6명|arXiv (Cornell University)|2023. 06. 06.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델에서 소수의 예시를 통한 추론를 최적화하기 위해 질문 임베딩의 행렬 분해를 사용하는 새로운 방법인 Prompt Space를 제안한다. SVD와 PCA를 통해 기저 질문을 식별함으로써 수동 프롬프트 없이도 효과적인 추론 예시를 자동으로 생성하며, 'Let’s think step by step' 프롬프트 없이도 열 개의 공개 추론 벤치마크에서 최신 기술인 Chain-of-Thought을 초월한다.

ABSTRACT

Prompt engineering is an essential technique for enhancing the abilities of large language models (LLMs) by providing explicit and specific instructions. It enables LLMs to excel in various tasks, such as arithmetic reasoning, question answering, summarization, relation extraction, machine translation, and sentiment analysis. Researchers have been actively exploring different prompt engineering strategies, such as Chain of Thought (CoT), Zero-CoT, and In-context learning. However, an unresolved problem arises from the fact that current approaches lack a solid mathematical solution for determining optimal prompts. To address this issue in prompt engineering, we propose a new and effective approach called Prompt Space. Our methodology utilizes text embeddings to obtain basis vectors by matrix decomposition, and then constructs a space for representing all prompts. Prompt Space significantly outperforms state-of-the-art prompt paradigms on ten public reasoning benchmarks. Notably, without the help of the CoT method and the prompt "Let's think step by step", Prompt Space shows superior performance over the few-shot method. Overall, our approach provides a robust and effective mathematical framework for selecting simple and effective prompts. This advancement marks a significant step towards improving prompt engineering for a wide variety of applications in LLMs. Our code is publicly available at extcolor{blue}{\url{https://github.com/YouBLEI/Prompt-Space}}

연구 동기 및 목표

• 대규모 언어 모델을 사용한 소수의 예시 추론에서 최적의 프롬프트를 선택하는 데 이론적 기반의 부족을 해결하기 위해.
• 수동 프롬프트 엔지니어링에 의존하지 않고 효과적인 추론 예시의 자동 구축을 위해.
• 추론 성능을 최대화하기 위해 최적의 예시 질문 수와 선택을 식별하기 위해.
• 벡터 공간 기하학에 기반한 강력하고 일반화 가능한 프롬프트 선택 프레임워크를 수립하기 위해.
• 소수의 예시 추론 성능을 향상시키기 위해 'Let’s think step by step' 프롬프트나 CoT 스타일의 체인을 요구하지 않기 위해.

제안 방법

• 사전에 훈련된 텍스트 인코더를 사용하여 추론 데이터셋의 모든 질문을 조밀한 벡터 표현으로 임bedding하기.
• 질문 임베딩 행렬에 대해 특이값 분해(SVD)와 주성분 분석(PCA)을 적용하여 k개의 기저 벡터 추출하기.
• 기저 벡터에 해당하는 상위 k개 질문을 선택하여 핵심 프롬프트 예시로 구성하기.
• 각 테스트 질문이 선택된 기저 질문과 쌍을 이루는 프롬프트 공간을 구성하여 추론 예시 생성하기.
• 구축된 예시를 사용해 Zero-shot-CoT 프롬프팅을 통해 LLM이 단계별 추론을 안내하기.
• 성능과 효율성의 균형을 고려해 ablation 연구를 통해 기저 질문 수(k) 최적화하기.

실험 결과

연구 질문

• RQ1 LLM에서 소수의 예시 추론 성능을 최대화하는 데 최적의 예시 질문 세트는 무엇인가?
• RQ2 기저 질문 수(k)가 다양한 벤치마크에서 추론 정확도에 어떤 영향을 미치는가?
• RQ3 이론적으로 기반한 임베딩 기반 방법이 Chain-of-Thought과 같은 히우리스틱 프롬프트 엔지니어링 전략을 초월할 수 있는가?
• RQ4 Prompt Space는 'Let’s think step by step' 프롬프트에 의존하지 않고 추론 성능을 얼마나 향상시킬 수 있는가?
• RQ5 질문 임베딩 공간의 기하학적 성질은 추론 모델 성능과 어떻게 관련이 있는가?

주요 결과

• Prompt Space는 열 개의 공개 추론 벤치마크에서 Chain-of-Thought 및 Zero-Shot-CoT를 포함한 최신 프롬프트 패러다임을 뛰어넘는 현저한 성능을 기록한다.
• 이론적으로 기반한 방법임에도 불구하고 'Let’s think step by step' 프롬프트를 사용하지 않아도 뛰어난 성능을 달성하여 그 내재적 효과성을 입증한다.
• 기저 질문 수(k)의 최적값은 작업에 따라 달라지며, ablation 연구 결과 k가 일정 수준을 초과하면 성능이 정점에 도달함을 보여주어 수익 감소 현상을 시사한다.
• SVD와 PCA를 통해 선별된 기저 질문들은 매우 대표적이며 데이터셋 내 핵심 추론 패턴을 잘 포괄한다.
• 벡터 공간 분해에 기반한 프롬프트 선택을 위한 이론적 프레임워크를 수립하여 히우리스틱 프롬프팅에 대한 원칙적인 대안을 제시한다.
• 이 방법은 산술, 공통지식, 논리 기반 문제를 포함한 다양한 추론 작업에 대해 잘 일반화된다.