[论文解读] Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models

Raphael Tang, Xinyu Zhang+3 more|arXiv (Cornell University)|Oct 11, 2023

Topic Modeling被引用 6

一句话总结

本文提出排列自一致性（permutation self-consistency），一种解码方法，通过多次打乱输入列表、生成多样化排序结果，并利用Kemeny优化将结果聚合为一个中心排序，从而在大语言模型（LLMs）进行列表级排序时减少位置偏差。该方法在段落重排序任务中将排序准确率提升最高达18%，在无需访问模型内部结构的情况下，为GPT-3.5和LLaMA v2（70B）设立了新的最先进水平。

ABSTRACT

Large language models (LLMs) exhibit positional bias in how they use context, which especially complicates listwise ranking. To address this, we propose permutation self-consistency, a form of self-consistency over ranking list outputs of black-box LLMs. Our key idea is to marginalize out different list orders in the prompt to produce an order-independent ranking with less positional bias. First, given some input prompt, we repeatedly shuffle the list in the prompt and pass it through the LLM while holding the instructions the same. Next, we aggregate the resulting sample of rankings by computing the central ranking closest in distance to all of them, marginalizing out prompt order biases in the process. Theoretically, we prove the robustness of our method, showing convergence to the true ranking in the presence of random perturbations. Empirically, on five list-ranking datasets in sorting and passage reranking, our approach improves scores from conventional inference by up to 7-18% for GPT-3.5 and 8-16% for LLaMA v2 (70B), surpassing the previous state of the art in passage reranking. Our code is at https://github.com/castorini/perm-sc.

研究动机与目标

• 解决大语言模型在列表级排序过程中因输入列表顺序和项目位置导致的依赖性偏差问题。
• 在不访问模型内部结构的前提下，提升黑箱大语言模型在排序任务中的一致性和鲁棒性。
• 开发一种对提示顺序不敏感但保持高排序质量的解码策略。
• 在多样化的列表排序任务（包括段落重排序和排序任务）中，通过实证方法验证该方法的有效性。
• 理论上分析该方法在特定条件下对噪声的鲁棒性以及收敛至真实排序的能力。

提出的方法

• 通过固定指令并反复打乱输入列表，生成多个排序结果，从而从同一LLM中获得多样化输出。
• 使用Kemeny排序方法计算最小化与所有生成排序的Kendall tau距离的中心排序。
• 通过在多个打乱输入中寻找共识排序，实现对提示顺序偏差的边际化处理。
• 该方法具有顺序不变性，且无需模型微调或访问隐藏表示。
• 该方法基于输入列表的排列进行自一致性学习，将每次打乱视为独立样本。
• 该方法计算效率高且可并行化，聚合时间与样本数量无关。

Figure 1: The conventional decoding process for listwise ranking with input prompt a , language model c , and output ranking d . The grey item b is “lost in the middle” by the LLM, resulting in its misranking e .

实验结果

研究问题

• RQ1 排列自一致性是否能有效减少大语言模型在列表级排序任务中的位置偏差？
• RQ2 该方法在不同数据集和大语言模型上提升排序准确率的效果如何？
• RQ3 打乱样本数量对性能提升的影响是什么？
• RQ4 在排序输出存在任意噪声分布的情况下，该方法是否仍具有鲁棒性？
• RQ5 与现有方法相比，该方法在一致性和提示顺序不变性方面表现如何？

主要发现

• 在GPT-3.5的段落重排序任务中，排列自一致性将排序得分提升最高达18%；在LLaMA v2（70B）上提升最高达16%。
• 该方法在TREC-DL19和TREC-DL20段落排序基准测试中设立了新的最先进水平。
• 使用20个打乱样本时，性能提升达到使用20个样本所能获得最大性能增益的67%，表明方法收敛迅速。
• 采样温度对性能影响极小，与思维链推理不同，表明在列表级排序中无需探索。
• 该方法对噪声具有鲁棒性，在足够样本量和每条观测中至少存在一对正确排序的情况下，能收敛至真实排序，即使噪声分布为任意固定分布。
• Kemeny聚合方法能有效减少位置偏差，尤其能缓解大语言模型中常见的‘中段丢失’效应。

Figure 2: Our permutation self-consistency process. With the instruction fixed, we shuffle the input list for prompts a , producing outputs with different mistakes. We then aggregate b these output rankings into one c .