[论文解读] Large Language Models on Wikipedia-Style Survey Generation: an Evaluation in NLP Concepts

Fan Gao, Hang Jiang+8 more|arXiv (Cornell University)|Aug 21, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文评估了 GPT-4、PaLM2、LLaMA2 和 GPT-3.5 等大型语言模型（LLMs）在 99 个 NLP 主题上生成维基百科风格综述文章的表现。在零样本（zero-shot）、少样本（one-shot）和描述性提示（description prompt）设置下，研究发现 GPT-4 生成的内容在当代性、可读性和整体质量方面通常优于人类编写的基准文本，尽管偶尔会出现事实性错误或模糊表述。此外，研究还揭示了 GPT-4 在自身生成文本评估中存在系统性偏差。

ABSTRACT

Educational materials such as survey articles in specialized fields like computer science traditionally require tremendous expert inputs and are therefore expensive to create and update. Recently, Large Language Models (LLMs) have achieved significant success across various general tasks. However, their effectiveness and limitations in the education domain are yet to be fully explored. In this work, we examine the proficiency of LLMs in generating succinct survey articles specific to the niche field of NLP in computer science, focusing on a curated list of 99 topics. Automated benchmarks reveal that GPT-4 surpasses its predecessors, inluding GPT-3.5, PaLM2, and LLaMa2 by margins ranging from 2% to 20% in comparison to the established ground truth. We compare both human and GPT-based evaluation scores and provide in-depth analysis. While our findings suggest that GPT-created surveys are more contemporary and accessible than human-authored ones, certain limitations were observed. Notably, GPT-4, despite often delivering outstanding content, occasionally exhibited lapses like missing details or factual errors. At last, we compared the rating behavior between humans and GPT-4 and found systematic bias in using GPT evaluation.

研究动机与目标

• 评估 LLM 在生成关于小众 NLP 主题的结构化、教育性综述文章方面的熟练程度。
• 从质量、准确性和结构角度，将 LLM 生成的综述与人类编写的基准文本进行比较。
• 探究 LLM 在提供特定标准时是否能模拟人类判断力。
• 识别基于 LLM 的评估与人类评估相比的系统性偏差。

提出的方法

• 使用包含 100 篇人类编写的 NLP 综述文章的 Surfer100 数据集，每篇均包含五个标准化部分：引言、历史、核心思想、应用和变体。
• 在四种提示设置下评估四种 LLM —— GPT-4、GPT-3.5、PaLM2 和 LLaMA2：零样本（ZS）、少样本（OS）、描述性提示（DP）以及结合少样本与描述性提示（OSP）。
• 引入检索增强生成（RAG）设置（OS+IR），通过链接 Wikipedia 和网络数据提升事实准确性。
• 采用自动评估指标，包括 ROUGE、BERTScore、MoverScore、UniEval 和 BARTScore，以量化生成质量。
• 通过专家评分员进行人工评估，使用 Krippendorff’s 和 Kendall’s 系数评估评分者间一致性和质量判断的可靠性。
• 将 GPT-4 自身的评估得分与人类评分进行对比，以检测基于 LLM 的评估中是否存在系统性偏差。

(a) Error Type Distribution.

实验结果

研究问题

• RQ1 RQ1：LLM 在生成 NLP 概念综述文章方面的能力如何？
• RQ2 RQ2：当提供具体标准时，LLM 是否能模拟人类判断？
• RQ3 RQ3：与人类编写的文本相比，LLM 在评估机器生成文本时是否表现出明显偏差？

主要发现

• 在 ROUGE、BERTScore、MoverScore、UniEval 和 BARTScore 等自动评估指标中，GPT-4 的表现优于 GPT-3.5、PaLM2 和 LLaMA2，得分最高。
• 在人工评估中，GPT-4 生成的综述被评价为比人类编写的版本更具当代性和可读性，且在清晰度和结构方面得分更高。
• 尽管表现优异，GPT-4 仍偶尔出现事实性错误或遗漏关键细节，例如在决策树主题的综述中遗漏了重要里程碑事件。
• GPT-4 生成的内容在某些方面甚至超越了人类编写的基准文本，例如准确识别了 mBERT 的共享嵌入空间和 HMM 的算法特性。
• 在评估中检测到系统性偏差：即使人类专家判断人类文本更优，GPT-4 仍始终更倾向于为自己生成的内容打高分。
• 研究发现，模糊的句式结构（如“该主题在 NLP 中起着至关重要的作用”）在不同主题中频繁重复，表明其在应用部分缺乏具体性。

(b) Error Type Distribution.