[论文解读] Amplifying Limitations, Harms and Risks of Large Language Models

Michael O’Neill, Mark Connor|arXiv (Cornell University)|Jul 6, 2023

Artificial Intelligence in Healthcare and Education被引用 6

一句话总结

本文批判性地审视了大型语言模型（LLMs）固有的局限性、危害与风险，认为过度的炒作掩盖了其根本缺陷，如幻觉、偏见以及缺乏事实依据。作者主张通过人机协同监督和多元化开发团队来降低风险，强调在缺乏人类验证的情况下，LLMs 无法保证正确性或安全性。

ABSTRACT

We present this article as a small gesture in an attempt to counter what appears to be exponentially growing hype around Artificial Intelligence (AI) and its capabilities, and the distraction provided by the associated talk of science-fiction scenarios that might arise if AI should become sentient and super-intelligent. It may also help those outside of the field to become more informed about some of the limitations of AI technology. In the current context of popular discourse AI defaults to mean foundation and large language models (LLMs) such as those used to create ChatGPT. This in itself is a misrepresentation of the diversity, depth and volume of research, researchers, and technology that truly represents the field of AI. AI being a field of research that has existed in software artefacts since at least the 1950's. We set out to highlight a number of limitations of LLMs, and in so doing highlight that harms have already arisen and will continue to arise due to these limitations. Along the way we also highlight some of the associated risks for individuals and organisations in using this technology.

研究动机与目标

• 通过揭示LLMs的根本局限性和风险，来遏制其日益增长的炒作氛围。
• 突出LLMs已造成及潜在造成的危害，包括错误信息、偏见以及不安全的输出。
• 强调在缺乏人类审查的情况下，当前的LLMs无法保证事实准确性或安全性。
• 倡导组建多元化开发团队，以提升模型的公平性并减少系统性偏见。
• 呼吁正视LLMs的局限性，避免盲目信任AI生成内容，从而实现负责任的采用。

提出的方法

• 分析公开报告、技术文档（例如GPT-4技术报告）以及媒体报道，以评估LLMs的能力与局限性。
• 研究GPT-4等模型性能提升背后的技术架构与训练因素，包括模型规模（参数量、上下文长度）、训练数据量以及专家混合（mixture-of-experts）设计。
• 审查主要AI提供商（如OpenAI）的现有使用政策，识别被禁止的使用场景，例如法律、金融或医疗建议。
• 强调基于规则的防护机制以及基于人类反馈的强化学习（RLHF）作为部分缓解策略的作用。
• 借鉴人工智能的历史与跨学科视角，将LLMs置于更广泛的AI研究传统中加以定位。
• 利用LLMs自身的自我查询（例如，向ChatGPT提问其不应被用于什么场景）来展示模型对其自身局限性的自我认知。

实验结果

研究问题

• RQ1 当前大型语言模型的核心局限性是什么？这些局限性如何损害其可靠性与安全性？
• RQ2 架构与训练因素（如模型规模、上下文长度、数据量）如何影响LLMs的性能与风险？
• RQ3 开发团队缺乏多样性在多大程度上导致了LLMs输出中的偏见与系统性危害？
• RQ4 基于规则的系统或人类反馈在多大程度上可以缓解LLMs中幻觉与有害内容的风险？
• RQ5 LLMs污染未来训练数据的长期风险是什么？是否会形成错误信息与偏见不断放大的反馈回路？

主要发现

• 像GPT-4这样的大型语言模型即使在生成连贯流畅的文本时，仍表现出显著的幻觉与事实错误。
• 尽管宣称具备先进能力，但GPT-4的输出在未经人类审查的情况下，无法被信赖用于法律、金融或医疗建议等高风险场景。
• 该模型的性能提升归因于规模的增加——可能达到一万亿参数，或由八个2200亿参数的模型组成的专家混合架构——以及更大的上下文窗口和海量的训练数据。
• 据报道，GPT-4的训练成本超过1亿美元，反映出当前LLMs背后巨大的财务与计算投入。
• LLMs并非天生安全或无偏见；其输出反映了训练数据中的偏见以及开发团队多样性不足的问题。
• 存在一种负面反馈回路的风险：LLMs生成的内容（包括错误信息）会进一步降低未来训练数据的质量，从而随时间推移不断放大危害。