[论文解读] LLM-augmented Preference Learning from Natural Language

Inwon Kang, Sikai Ruan+5 more|arXiv (Cornell University)|Oct 12, 2023

Topic Modeling被引用 4

一句话总结

本文研究了大型语言模型（LLMs）在自然语言中进行偏好学习的应用，将分类任务建模为基于提示的推理问题。结果表明，LLMs——尤其是采用 few-shot 提示方法时——在无需微调的情况下，优于以往的最先进模型，尤其在较长、复杂的文本上表现更优。

ABSTRACT

Finding preferences expressed in natural language is an important but challenging task. State-of-the-art(SotA) methods leverage transformer-based models such as BERT, RoBERTa, etc. and graph neural architectures such as graph attention networks. Since Large Language Models (LLMs) are equipped to deal with larger context lengths and have much larger model sizes than the transformer-based model, we investigate their ability to classify comparative text directly. This work aims to serve as a first step towards using LLMs for the CPC task. We design and conduct a set of experiments that format the classification task into an input prompt for the LLM and a methodology to get a fixed-format response that can be automatically evaluated. Comparing performances with existing methods, we see that pre-trained LLMs are able to outperform the previous SotA models with no fine-tuning involved. Our results show that the LLMs can consistently outperform the SotA when the target text is large -- i.e. composed of multiple sentences --, and are still comparable to the SotA performance in shorter text. We also find that few-shot learning yields better performance than zero-shot learning.

研究动机与目标

• 评估大型语言模型（LLMs）是否能在不进行微调的情况下，有效分类自然语言中的比较性偏好。
• 研究提示工程以及 few-shot 与 zero-shot 学习对偏好分类性能的影响。
• 在具有不同文本复杂度的基准数据集上，对比 LLM 方法与现有最先进模型的性能。
• 探索使用 LLM 作为可扩展的、零样本能力解决方案，在多智能体决策系统中进行偏好学习的可行性。
• 识别当前 LLM 在处理细微或隐含偏好表达方面的局限性，并提出改进方向。

提出的方法

• 将偏好分类任务形式化为基于提示的推理问题，将输入文本嵌入为 LLM 的自然语言指令。
• 设计了两种有效的提示策略：一种使用显式指令模板，另一种在提示中整合 few-shot 示例。
• 在两个基准数据集（Compsent-19 和 College Confidential）上，评估了四种 LLM：GPT-4、GPT-3.5-Turbo、LLaMa-2-70B 和 LLaMa-2-13B。
• 通过固定格式的响应解析实现自动化评估，以确保在不同模型间保持一致且可靠的性能度量。
• 实施 zero-shot 和 few-shot 提示配置，以比较泛化能力与 few-shot 上下文学习能力。
• 采用结构化的评估流程，将模型性能与提示工程的产物分离，确保比较的可重现性与公平性。

Figure 1. Illustration of the retry prompt process. The incorrect output is appended to the original prompt, followed by a retry message to remind the rules.

实验结果

研究问题

• RQ1 LLMs 是否能在不进行微调的情况下，优于现有的最先进模型，在自然语言偏好学习中表现更优？
• RQ2 在不同 LLM 上，few-shot 提示与 zero-shot 提示在偏好分类准确率上的表现如何比较？
• RQ3 模型规模（例如 GPT-4 与 LLaMa-2-13B）是否显著影响其在更长或更复杂的偏好表达上的性能？
• RQ4 LLMs 是否能有效处理传统 NLP 模型难以应对的隐含或跨句子的偏好表达？
• RQ5 提示设计在多大程度上决定了 LLM 在偏好分类任务中潜力的释放？

主要发现

• 在包含更长、更复杂文本的 College Confidential 数据集上，预训练 LLM（尤其是 GPT-4 和 LLaMa-2-70B）优于以往的最先进模型。
• 在所有评估的 LLM 中，few-shot 提示始终优于 zero-shot 提示，表明上下文学习能提升偏好检测的准确性。
• 即使较小的 LLaMa-2-13B 模型也表现出具有竞争力的性能，表明当提示设计得当时，LLM 即使参数量适中也能有效工作。
• 在较短的单句文本（如 Compsent-19）上，部分先前的 SotA 模型仍优于 LLM，表明 LLM 并非在所有场景下都更优，而是在复杂性方面表现更佳。
• 最大模型 GPT-4 达到了最高性能，表明模型规模能增强在复杂语境下的推理与偏好理解能力。
• 提示工程显著影响性能，结构化且示例丰富的提示比通用指令产生更可靠、更准确的预测。