[论文解读] Prompt Space Optimizing Few-shot Reasoning Success with Large Language Models

Fobo Shi, Peijun Qing+6 more|arXiv (Cornell University)|Jun 6, 2023

Natural Language Processing Techniques被引用 5

一句话总结

本文提出 Prompt Space，一种新颖方法，通过问题嵌入的矩阵分解构建大语言模型少样本推理的最优提示空间。通过 SVD 和 PCA 识别基础问题，该方法自动生成有效的推理示范，无需人工提示，且在十个公开推理基准上超越了最先进方法（包括 Chain-of-Thought），甚至在未使用“让我们一步步思考”提示的情况下也表现更优。

ABSTRACT

Prompt engineering is an essential technique for enhancing the abilities of large language models (LLMs) by providing explicit and specific instructions. It enables LLMs to excel in various tasks, such as arithmetic reasoning, question answering, summarization, relation extraction, machine translation, and sentiment analysis. Researchers have been actively exploring different prompt engineering strategies, such as Chain of Thought (CoT), Zero-CoT, and In-context learning. However, an unresolved problem arises from the fact that current approaches lack a solid mathematical solution for determining optimal prompts. To address this issue in prompt engineering, we propose a new and effective approach called Prompt Space. Our methodology utilizes text embeddings to obtain basis vectors by matrix decomposition, and then constructs a space for representing all prompts. Prompt Space significantly outperforms state-of-the-art prompt paradigms on ten public reasoning benchmarks. Notably, without the help of the CoT method and the prompt "Let's think step by step", Prompt Space shows superior performance over the few-shot method. Overall, our approach provides a robust and effective mathematical framework for selecting simple and effective prompts. This advancement marks a significant step towards improving prompt engineering for a wide variety of applications in LLMs. Our code is publicly available at extcolor{blue}{\url{https://github.com/YouBLEI/Prompt-Space}}

研究动机与目标

• 为大语言模型在少样本推理中选择最优提示缺乏理论基础的问题提供解决方案。
• 自动化构建有效推理示范，无需依赖人工提示工程。
• 识别能最大化推理性能的示例问题数量与选择。
• 建立一个基于向量空间几何的稳健且可泛化的提示选择框架。
• 在不依赖“让我们一步步思考”提示或 CoT 风格链式提示的前提下，提升少样本推理性能。

提出的方法

• 使用预训练的文本编码器将推理数据集中的所有问题嵌入为稠密向量表示。
• 对问题嵌入矩阵应用奇异值分解（SVD）和主成分分析（PCA），以提取 k 个基向量。
• 选择与基向量对应的相关性最高的 k 个问题，作为核心提示示例。
• 构建一个提示空间，使每个测试问题均与所选的基问题配对，以生成推理示范。
• 使用零样本 CoT 提示法，结合所构建的示例，引导大语言模型进行逐步推理。
• 通过消融研究优化基问题的数量（k），以在性能与效率之间取得平衡。

实验结果

研究问题

• RQ1 在大语言模型中，能最大化少样本推理性能的最优示例问题集合是什么？
• RQ2 基问题数量（k）如何影响不同基准下的推理准确率？
• RQ3 一种基于理论、基于嵌入的方法能否超越像 Chain-of-Thought 这类基于启发式策略的提示工程方法？
• RQ4 Prompt Space 在多大程度上可实现不依赖“让我们一步步思考”提示的推理性能提升？
• RQ5 问题嵌入空间的几何特性与推理模型性能之间存在何种关系？

主要发现

• Prompt Space 在十个公开推理基准上显著优于最先进提示范式，包括 Chain-of-Thought 与 Zero-Shot-CoT。
• 该方法即使在未使用“让我们一步步思考”提示的情况下也实现了卓越性能，证明其内在有效性。
• 最优基问题数量（k）因任务而异，消融研究显示当 k 超过某一阈值后性能趋于平稳，表明收益递减。
• 通过 SVD 和 PCA 选择的基问题具有高度代表性，能够捕捉数据集中核心的推理模式。
• 该方法基于向量空间分解建立了提示选择的理论框架，为启发式提示提供了一种有原则的替代方案。
• 该方法在多种推理任务中表现出良好的泛化能力，涵盖算术、常识与逻辑类问题。