[论文解读] Generative Models as a Complex Systems Science: How can we make sense of large language model behavior?

Ari Holtzman, Peter West+1 more|arXiv (Cornell University)|Jul 31, 2023

Topic Modeling被引用 4

一句话总结

本文将大语言模型（LLMs）重新构想为复杂系统，倡导采用自上而下的行为分类法来指导机械可解释性研究与未来研究。通过在任务间对涌现行为进行分类，该框架实现了与模型架构无关的系统性分析，为可复现的、理论驱动的研究奠定了基础，尽管存在模型不透明性和架构快速演进的挑战。

ABSTRACT

Coaxing out desired behavior from pretrained models, while avoiding undesirable ones, has redefined NLP and is reshaping how we interact with computers. What was once a scientific engineering discipline-in which building blocks are stacked one on top of the other-is arguably already a complex systems science, in which emergent behaviors are sought out to support previously unimagined use cases. Despite the ever increasing number of benchmarks that measure task performance, we lack explanations of what behaviors language models exhibit that allow them to complete these tasks in the first place. We argue for a systematic effort to decompose language model behavior into categories that explain cross-task performance, to guide mechanistic explanations and help future-proof analytic research.

研究动机与目标

• 解决当前对大语言模型（LLMs）中涌现行为缺乏系统性理解的问题，这限制了可解释性与理论构建。
• 克服以基准测试为中心的评估方法的局限，将关注点从性能指标转向识别和分类高层次模型行为。
• 开发一种自上而下的行为分类法，以指导自下而上的机械分析，确保研究聚焦于有意义的现象而非任意的模型组件。
• 建立一种元模型框架，以预测LLM输出中的规律性，从而实现对模型行为更稳健、更具普适性的解释。
• 推动开源模型的普及，以确保可复现的、长期的生成模型科学研究，尤其是在专有系统占据主导地位的背景下。

提出的方法

• 引入一个思想实验，涉及‘Newformer’——一种假设的、非Transformer的、最先进的生成模型——以凸显当前模型解释方法的局限性。
• 提出一种分层的、自上而下的LLM行为分类法（例如，改写、重复、少样本学习等），作为指导机械研究的功能性框架。
• 利用现有的可解释性研究成果（例如，归纳头、复制头）作为证据，表明基于行为的分类能带来更深层次的机械洞察。
• 由于其涌现的、非工程化的行为，将生成模型视为复杂系统，类比于生物或化学等自然复杂系统。
• 主张LLM中的模拟与可重复性相较于物理复杂系统具有优势，可实现受控的、无观察者干扰的实验。
• 强调开源模型对于维持长期、可复现的研究至关重要，尤其是在专有模型主导能力的背景下。

Figure 1: To explain why learned models self-organize the way they do from the bottom-up, it is useful to have top-down hierarchy of partially decomposed behaviors, to guide hypotheses with functionality we know the overall model has. While networks are composed of bedrock units for which we have a

实验结果

研究问题

• RQ1 我们如何系统性地对大语言模型的涌现行为进行分类，以指导机械可解释性研究？
• RQ2 自上而下的行为分类法在提升自下而上机械分析的效率与相关性方面发挥什么作用？
• RQ3 为何基准测试无法捕捉或解释影响LLM在各类任务中表现的行为？
• RQ4 我们如何开发一种元模型，以在不依赖架构细节的前提下预测LLM输出中的规律性？
• RQ5 生成模型在哪些方面类似于复杂系统？这一视角如何改变自然语言处理研究的目标？

主要发现

• LLMs中的涌现行为——如少样本学习和短语重复——并非人为设计，而是在训练过程中被发现的，表明其具有复杂系统动力学特征。
• 缺乏共享的行为术语体系阻碍了研究进展，即使模型已开源，例如在解释各向异性嵌入空间等行为时仍存在困难。
• 现有可解释性研究工作（如归纳头）表明，基于行为的分类能带来可操作的机械洞察，从而验证了所提出的分类法方法的有效性。
• 尽管架构不同，但共享的高层次行为（如改写、复制）可用于比较虚构的Newformer与Transformer模型，实现跨模型分析。
• 开源模型对于可复现的、长期的科学研究至关重要，因为专有模型限制了对驱动性能行为的访问。
• 由于其可模拟性、可重复性以及在受控实验中无观察者效应，生成模型比许多自然复杂系统更易于开展科学研究。

Figure 2: A visual representation of different aspects of models, shown from the basic elements of models on the bottom up to the benchmarks we are attempting to solve. Nodes represent invented and discovered aspects of models. The highlighted subgraph captures the concepts that we might want to use