[论文解读] Discovering Latent Knowledge in Language Models Without Supervision

Collin Burns, Haotian Ye+2 more|arXiv (Cornell University)|Dec 7, 2022

Topic Modeling被引用 45

一句话总结

本文提出 Contrast-Consistent Search (CCS)，一种从语言模型激活中以无监督方式提取潜在真实表示以回答是非问题的方法，在平均水平上优于零-shot 基线并减少提示敏感度。

ABSTRACT

Existing techniques for training language models can be misaligned with the truth: if we train models with imitation learning, they may reproduce errors that humans make; if we train them to generate text that humans rate highly, they may output errors that human evaluators can't detect. We propose circumventing this issue by directly finding latent knowledge inside the internal activations of a language model in a purely unsupervised way. Specifically, we introduce a method for accurately answering yes-no questions given only unlabeled model activations. It works by finding a direction in activation space that satisfies logical consistency properties, such as that a statement and its negation have opposite truth values. We show that despite using no supervision and no model outputs, our method can recover diverse knowledge represented in large language models: across 6 models and 10 question-answering datasets, it outperforms zero-shot accuracy by 4\% on average. We also find that it cuts prompt sensitivity in half and continues to maintain high accuracy even when models are prompted to generate incorrect answers. Our results provide an initial step toward discovering what language models know, distinct from what they say, even when we don't have access to explicit ground truth labels.

研究动机与目标

• 在没有监督的情况下，为从语言模型中提取潜在真实实现动机与问题进行形式化。
• 开发一个轻量级探针，识别激活空间中的与真相相关的方向。
• 证明这种潜在知识可以跨任务迁移，对诱导性提示具有鲁棒性。
• 分析所学习表示的特征及其数据/样本效率。

提出的方法

• 通过将每个是非问题格式化为正向和负向陈述，构造对比对。
• 提取每对对比的模型激活并进行归一化。
• 通过带有 sigmoid 激活的线性探针将归一化激活映射到概率。
• 训练无监督损失，结合一致性项(p(x+)=1-p(x−))与置信度项以避免退化解。
• 通过对 p(x+) 和 1−p(x−) 取平均并选择 >0.5 的决策边界来推断答案。

实验结果

研究问题

• RQ1 是否可以仅从激活中在没有监督的情况下发现潜在真相表示？
• RQ2 这种表示是否能在超出训练数据的数据集和任务上泛化？
• RQ3 这些表示对模型输出的操控或误导性提示是否鲁棒？
• RQ4 这些真相表示位于模型的哪一层、以及数据效率如何？
• RQ5 发现的表示与模型自身输出和地面真值标签有何关系？

主要发现

• CCS 在6个模型和10个数据集上的平均提升相较强大的零-shot 基线4个百分点。
• CCS 降低提示敏感性，在不同提示下平均准确率更具鲁棒性。
• 会误导的提示会降低零-shot 表现，但对 CCS 的准确率影响不显著。
• 潜在的真相表示在数据集和任务间具有迁移性，表明这是一个与任务无关的真相方向。
• 中间层通常比最终输出提供更好的 CCS 性能，表明潜在知识超出输出本身所含。
• 发现真相表示在数据效率方面也有成效，有时甚至只需非常少量的对比对就能工作。