[论文解读] Analogy Generation by Prompting Large Language Models: A Case Study of InstructGPT

Bhavya Bhavya, Jinjun Xiong+1 more|arXiv (Cornell University)|Oct 9, 2022

Topic Modeling被引用 5

一句话总结

本文提出通过提示 InstructGPT 生成类比，用于概念性和解释性任务，表明使用精确的祈使句提示并配合低温度设置可获得最佳效果。最大规模的 InstructGPT 模型在类比概念生成任务中达到人类水平表现，但解释生成仍具挑战性，凸显了模型对提示设计的敏感性以及性能随模型规模变化的特性。

ABSTRACT

We propose a novel application of prompting Pre-trained Language Models (PLMs) to generate analogies and study how to design effective prompts for two task settings: generating a source concept analogous to a given target concept (aka Analogous Concept Generation or ACG), and generating an explanation of the similarity between a given pair of target concept and source concept (aka Analogous Explanation Generation or AEG). We found that it is feasible to prompt InstructGPT to generate meaningful analogies and the best prompts tend to be precise imperative statements especially with a low temperature setting. We also systematically analyzed the sensitivity of the InstructGPT model to prompt design, temperature, and injected spelling errors, and found that the model is particularly sensitive to certain variations (e.g., questions vs. imperative statements). Further, we conducted human evaluation on 1.4k of the generated analogies and found that the quality of generations varies substantially by model size. The largest InstructGPT model can achieve human-level performance at generating meaningful analogies for a given target while there is still room for improvement on the AEG task.

研究动机与目标

• 探究使用类似 InstructGPT 的大语言模型生成有意义类比以用于概念性和解释性任务的可行性。
• 考察提示设计、温度超参数以及拼写错误对类比生成质量的影响。
• 通过自动化与人工评估，评估模型规模对生成类比质量的影响。
• 利用人工标注的参考数据，在科学领域建立类比生成的基准。

提出的方法

• 本研究采用不同规模的 InstructGPT 模型（参数量从 0.3B 到 175B 不等），通过精心设计的文本提示生成类比。
• 定义了两项任务：类比概念生成（acg），即为给定目标概念生成源概念；类比解释生成（aeg），即生成说明相似性的解释。
• 系统性地改变提示形式（如祈使句与疑问句），并在不同温度设置下测试，以评估模型对提示的敏感性。
• 在提示中引入拼写错误，以评估模型的鲁棒性，并将输出与人工整理的 100 个科学类比参考数据集进行对比。
• 对 1,400 个生成的类比进行人工评估以衡量质量，使用 Cohen’s kappa 评估标注者间一致性。
• 自动化评估采用 BLEU 和 ROUGE 分数，将生成结果与参考文本进行比较。

实验结果

研究问题

• RQ1 RQ1：InstructGPT 在不同提示设计与温度设置下生成有意义类比的有效性如何？
• RQ2 RQ2：InstructGPT 对提示风格、温度及拼写错误变化的敏感性如何？
• RQ3 RQ3：模型规模如何影响 acg 与 aeg 任务中生成类比的质量？

主要发现

• 最大规模的 InstructGPT 模型（175B 参数）在类比概念生成（acg）任务中达到人类水平表现，人工评估中 70.05% 的生成类比被评为有意义。
• 精确的祈使句提示配合低温度设置生成的类比质量最高，优于基于问题的提示，后者常导致不一致或不相关的输出。
• 模型对提示设计高度敏感，祈使句形式显著优于疑问句形式。
• 较小模型（如 0.3B）表现较差，acg 任务中仅有 1.90% 的输出被评为有意义，表明其对模型规模的强依赖性。
• aeg 任务更具挑战性：即使最大模型也仅达到 53.79% 的有意义解释率，表明其仍是大语言模型类比推理能力的强测试基准。
• 人工评估显示标注者间一致性 kappa 值介于 0.3 至 0.5 之间，表明可靠性中等，作者已发布所有数据集以支持未来研究。