[论文解读] a survey on GPT-3

Mingyu Zong, Bhaskar Krishnamachari|arXiv (Cornell University)|Dec 1, 2022

Data Stream Mining Techniques被引用 17

一句话总结

本综述全面概述了GPT-3，详细介绍了其作为1750亿参数语言模型的架构、训练数据和能力。文章探讨了其在聊天机器人、编程和商业工具等领域的应用，同时指出了幻觉、偏见和高能耗等关键挑战，并呼吁建立更完善的审计系统和更可持续的模型设计。

ABSTRACT

This paper provides an introductory survey to GPT-3. We cover some of the historical development behind this technology, some of the key features of GPT-3, and discuss the machine learning model and the datasets used. We survey both academic and commercial efforts applying GPT-3 in diverse domains such as developing conversational AI chatbots, software development, creative work, domain knowledge, and business productivity. We discuss some of the challenges that GPT-3 faces such as the problems of training complexity, bias, and hallucination/incorrect answers. We also discuss the future research opportunities in this area.

研究动机与目标

• 为GPT-3的发展、架构和能力提供全面的介绍。
• 分析其在自然语言处理任务、软件开发和创造性工作等多样化应用中的表现。
• 识别并讨论幻觉、偏见和环境影响等关键挑战。
• 探讨GPT-3被滥用的后果以及建立监管和审计框架的必要性。
• 概述改进大语言模型安全性、公平性和可持续性的未来研究方向。

提出的方法

• 本文追溯了GPT-3从GPT-1和GPT-2的演进过程，强调架构的演进和参数规模的增加。
• 研究了模型的训练数据，包括Common Crawl、WebText2、Books2和Wikipedia，总计约5000亿个token。
• 通过OpenAI Playground和API分析了GPT-3的推理模式——补全、插入和编辑，包括温度和最大长度等参数调优。
• 通过NLP基准测试和实际应用场景评估了GPT-3的表现，包括零样本和 few-shot 提示。
• 通过API访问研究了微调能力，指出1000个实例是实现有效适配的合理最低要求。
• 基于实证研究回顾了伦理问题，涵盖性别、种族和宗教偏见，以及训练和推理过程中的能耗问题。

实验结果

研究问题

• RQ1 GPT-3的架构和训练数据在多大程度上促使其在零样本和few-shot自然语言处理任务中表现优异？
• RQ2 在幻觉、偏见和能耗方面，GPT-3的主要局限性是什么？
• RQ3 性别、种族和宗教等人口统计学偏见在GPT-3生成的输出中如何体现？
• RQ4 GPT-3在下游任务中可否被有效微调？需要满足哪些数据要求？
• RQ5 GPT-3的公开可用性对滥用、抄袭行为以及监管监督的必要性有何影响？

主要发现

• GPT-3在多个自然语言处理任务中达到最先进水平，包括文本补全和摘要生成，其参数量达1750亿，训练数据达5000亿token。
• 该模型展现出强大的零样本能力，在未进行微调的情况下，于8项语言建模任务中的7项表现优于专用任务模型。
• GPT-3表现出显著的性别偏见，对女性角色更倾向于生成涉及家庭和情感的刻板叙事，而男性角色则更多与战争、犯罪和政治相关。
• 检测到种族偏见，GPT-3在医疗问答任务中对黑人患者拒绝提供止痛治疗的可能性高出3.6%，相较于白人患者。
• 模型表现出宗教偏见，'穆斯林'一词更可能触发生成内容中的暴力或负面联想。
• GPT-3的训练和推理过程极为耗能，引发环境担忧，并促使人们呼吁开发更高效的模型架构。