[论文解读] Exploring ChatGPT's Ability to Rank Content: A Preliminary Study on Consistency with Human Preferences

Yunjie Ji, Yan Gong+6 more|arXiv (Cornell University)|Mar 14, 2023

Topic Modeling被引用 14

一句话总结

论文考察 ChatGPT 在零-shot 情况下对模型生成内容的排序能力，并将其排序与人类偏好在多样化提示和模型上进行比较。

ABSTRACT

As a natural language assistant, ChatGPT is capable of performing various tasks, including but not limited to article generation, code completion, and data analysis. Furthermore, ChatGPT has consistently demonstrated a remarkable level of accuracy and reliability in terms of content evaluation, exhibiting the capability of mimicking human preferences. To further explore ChatGPT's potential in this regard, a study is conducted to assess its ability to rank content. In order to do so, a test set consisting of prompts is created, covering a wide range of use cases, and five models are utilized to generate corresponding responses. ChatGPT is then instructed to rank the responses generated by these models. The results on the test set show that ChatGPT's ranking preferences are consistent with human to a certain extent. This preliminary experimental finding implies that ChatGPT's zero-shot ranking capability could be used to reduce annotation pressure in a number of ranking tasks.

研究动机与目标

• 评估 ChatGPT 是否能够按人类偏好对来自多种模型的回答进行排序。
• 评估基于 ChatGPT 的排序与人类标注在多样化用例中的一致性。
• 探讨 ChatGPT 的排序能力是否能够降低排序任务的标注工作量。

提出的方法

• 构建覆盖 NLP 任务、头脑风暴、生成、开放式问答、数学和代码的提示测试集。
• 对每个提示从五个模型生成回答，包括 Bloomz 变体、Text-davinci-003、ChatGPT 和 InstrLLM。
• 请 ChatGPT 使用逐一提示和一题多解提示对五个回答进行排序。
• 通过让129名标注员对每个提示的回答进行排序并取平均来收集人类偏好注释。
• 使用斯皮尔曼相关系数衡量 ChatGPT 与人类排序的一致性，以及 Top-1 一致性率。
• 分析不同用例和提示下的模型比较，以识别优势与局限性。

实验结果

研究问题

• RQ1 ChatGPT 是否能够以与人类偏好一致的方式对多个模型的输出进行排序？
• RQ2 逐一提示与一题多解提示在排序性能上有何差异？
• RQ3 哪些用例（NLP 任务、头脑风暴、生成、开放式问答、数学、代码）显示出与人类判断的对齐程度较高或较低？
• RQ4 从 ChatGPT 的角度看，不同模型（ChatGPT、Text-davinci-003、Bloomz 变体、InstrLLM）在排序质量上有何差异？

主要发现

• ChatGPT 的排序在不同提示中与人类偏好存在非平凡的一致性。
• 逐一提示通常比一题多解提示在与人类偏好的对齐方面表现更好。
• 头脑风暴和生成提示的对齐度较高；NLP 任务和开放式问答等其他用例仍有提升空间。
• ChatGPT 在整体排序中优于若干基线（包括 Bloomz 变体），但在代码和数学提示中存在一些差距。
• InstrLLM 在头脑风暴、生成和数学方面可超越某些基线，但在 NLP 任务上落后。
• 有证据表明 ChatGPT 可能有助于 RLHF 中的引导标注，以及识别性能较弱的使用场景。