[论文解读] Function Vectors in Large Language Models

Eric Todd, Millicent Li+4 more|arXiv (Cornell University)|Oct 23, 2023

Topic Modeling被引用 4

一句话总结

本文提出了函数向量（FVs）——一种在自回归Transformer中紧凑且任务特定的表示形式，用于编码输入-输出函数，并可在多种上下文中迁移。通过因果中介分析，作者识别出负责传输FVs的注意力头，这些FVs在零样本和自然语言设置下仍能稳健触发任务执行，并证明FVs支持组合向量代数，可实现超越词级语义的复杂函数合成。

ABSTRACT

We report the presence of a simple neural mechanism that represents an input-output function as a vector within autoregressive transformer language models (LMs). Using causal mediation analysis on a diverse range of in-context-learning (ICL) tasks, we find that a small number attention heads transport a compact representation of the demonstrated task, which we call a function vector (FV). FVs are robust to changes in context, i.e., they trigger execution of the task on inputs such as zero-shot and natural text settings that do not resemble the ICL contexts from which they are collected. We test FVs across a range of tasks, models, and layers and find strong causal effects across settings in middle layers. We investigate the internal structure of FVs and find while that they often contain information that encodes the output space of the function, this information alone is not sufficient to reconstruct an FV. Finally, we test semantic vector composition in FVs, and find that to some extent they can be summed to create vectors that trigger new complex tasks. Our findings show that compact, causal internal vector representations of function abstractions can be explicitly extracted from LLMs. Our code and data are available at https://functions.baulab.info.

研究动机与目标

• 探究大型语言模型（LLMs）是否包含内部可重用的输入-输出函数表示。
• 确定这些表示形式（称为函数向量，FVs）是否可被提取并跨不同输入上下文迁移，包括零样本和自然语言设置。
• 检查FVs是否编码了超出输出词汇表的信息，以及它们是否支持组合向量运算以创建新函数。
• 评估FVs在不同模型架构、层和任务类型中的鲁棒性与泛化能力。

提出的方法

• 使用因果中介分析识别在上下文学习（ICL）期间中介信息流的注意力头，隔离特定头对任务执行的贡献。
• 通过将识别出的注意力头的激活值求和，构建函数向量，形成所演示任务的紧凑表示。
• 通过在特定层将FV插入新上下文，应用激活修补法，测量其对零样本任务性能的影响。
• 通过解码分析评估FVs是否编码了函数的输出空间，使用模型下一个词预测的top-k标记概率。
• 向量组合实验测试将简单任务的FV相加是否能产生可执行组合复杂任务的新FV。
• 实验在多个模型（如GPT-J、Llama 2等）上进行，参数量从6B到70B不等，并涵盖多种ICL任务（如翻译、反义词生成、情感分析等）。

实验结果

研究问题

• RQ1 大型语言模型是否包含紧凑且可重用的内部输入-输出函数表示，且可跨不同上下文迁移？
• RQ2 函数向量（FVs）是否能在零样本和自然语言设置下触发任务执行，即使输入上下文与原始ICL演示无任何相似性？
• RQ3 FVs在多大程度上编码了函数的输出空间，且这种编码是否足以重构FV？
• RQ4 FVs是否可通过向量加法组合，形成可触发未直接演示的复杂复合任务的新FV？
• RQ5 FVs在不同模型尺寸和层中是否具有鲁棒性，且是否在中间层中一致提升零样本性能？

主要发现

• 函数向量（FVs）在Transformer模型的中间层中被稳健识别，并可在零样本和自然语言上下文中触发任务执行，例如在GPT-J中反义词生成任务的准确率最高达24.3%。
• 从一个上下文提取的FVs可成功在无关上下文中诱导任务执行，包括与原始ICL示例无结构相似性的上下文。
• 尽管FVs通常编码了函数的输出词汇表，但仅凭此信息不足以重构FV，表明还编码了额外的结构或语义内容。
• FV的向量组合可生成新FV，从而触发复杂复合任务——例如，将'首字母大写'和'反义词'的FV相加，可产生同时执行两项操作的向量。
• 当FV插入早期到中间层时性能最佳，且这一模式在6B至70B参数量的模型（如Llama 2）中保持一致。
• 在Llama 2（13B）中，组合向量的FV在'首字母大写'复合任务上达到87%的准确率，优于单个FV，展现出组合泛化能力。