[论文解读] Eight Things to Know about Large Language Models

Samuel R. Bowman|arXiv (Cornell University)|Apr 2, 2023

Natural Language Processing Techniques被引用 97

一句话总结

对大型语言模型的八个出人意料且基于证据的要点综合，强调尺度定律、出现性行为、表征学习、引导局限性、可解释性挑战、绩效与人类基准的对比、价值观与偏见，以及简短互动的误导性。

ABSTRACT

The widespread public deployment of large language models (LLMs) in recent months has prompted a wave of new attention and engagement from advocates, policymakers, and scholars from many fields. This attention is a timely response to the many urgent questions that this technology raises, but it can sometimes miss important considerations. This paper surveys the evidence for eight potentially surprising such points: 1. LLMs predictably get more capable with increasing investment, even without targeted innovation. 2. Many important LLM behaviors emerge unpredictably as a byproduct of increasing investment. 3. LLMs often appear to learn and use representations of the outside world. 4. There are no reliable techniques for steering the behavior of LLMs. 5. Experts are not yet able to interpret the inner workings of LLMs. 6. Human performance on a task isn't an upper bound on LLM performance. 7. LLMs need not express the values of their creators nor the values encoded in web text. 8. Brief interactions with LLMs are often misleading.

研究动机与目标

• 促使研究人员、倡导者和决策者就LLMs的影响开展知情讨论。
• 总结有关LLMs如何扩展、哪些行为会出现以及引导和可解释性极限的证据。
• 突出与部署与监督相关的伦理、治理和安全考量。

提出的方法

• 调研并综合先前关于LLM扩展、出现性行为和表征能力的证据。
• 引用来自尺度定律、BIG-Bench及相关研究的实证结果以支持论点。
• 讨论当前引导、解释和评估方法的局限性。

实验结果

研究问题

• RQ1 有哪些得到证据支持的关于大型语言模型的出人意料的主张？
• RQ2 扩展和投资如何影响LLM的能力与行为？
• RQ3 LLM在引导、可解释性和价值一致性方面的限制是什么？
• RQ4 当前LLM的发展与部署带来了哪些风险与治理考量？

主要发现

• 即使没有针对性的创新，LLMs通过投资和规模扩展也会变得更有能力。
• 随着模型规模的扩大，一些重要的LLM行为以不可预测的方式出现。
• LLMs在某种程度上形成了对外部世界的内部表征。
• 没有可靠的技术能在所有情境下保证对LLM行为的引导。
• 专家无法完全解释LLM内部机制。
• 人类表现并非LLM任务的普遍上限。
• LLMs不一定会表达创造者的价值观或训练数据的价值观。
• 与LLMs的简短互动可能会误导对它们能力的判断。