[论文解读] A Property Induction Framework for Neural Language Models

Kanishka Misra, Julia Taylor Rayz+1 more|arXiv (Cornell University)|May 13, 2022

Topic Modeling被引用 10

一句话总结

本文提出了一种属性归纳框架，用于评估神经语言模型如何基于概念知识泛化新属性（例如，'知更鸟会dax'）。通过微调语言模型以判断属性真伪，再测试其归纳泛化能力，研究发现模型表现出强烈的分类学偏见，倾向于将新属性投射到同一类别中的概念上，表明其潜在的概念组织结构超越了简单的特征重叠。

ABSTRACT

To what extent can experience from language contribute to our conceptual knowledge? Computational explorations of this question have shed light on the ability of powerful neural language models (LMs) -- informed solely through text input -- to encode and elicit information about concepts and properties. To extend this line of research, we present a framework that uses neural-network language models (LMs) to perform property induction -- a task in which humans generalize novel property knowledge (has sesamoid bones) from one or more concepts (robins) to others (sparrows, canaries). Patterns of property induction observed in humans have shed considerable light on the nature and organization of human conceptual knowledge. Inspired by this insight, we use our framework to explore the property inductions of LMs, and find that they show an inductive preference to generalize novel properties on the basis of category membership, suggesting the presence of a taxonomic bias in their representations.

研究动机与目标

• 研究神经语言模型是否能在训练数据之外，执行属性归纳——即从一个概念将新属性泛化到其他概念。
• 考察语言模型在投射新属性知识时是否依赖于分类学类别归属。
• 分离属性重叠与分类学偏见在模型泛化行为中的影响。
• 开发一种灵活、系统化的方法，用于探测和评估大语言模型中的概念知识与归纳推理能力。

提出的方法

• 微调一个语言模型，使用二元分类头来判断概念-属性句子的真伪（例如，'猫有毛' → 真）。
• 将微调后的模型用作属性判断头，评估某个新属性（例如，'有feps'）是否适用于给定概念。
• 通过标准反向传播，训练模型从种子概念（例如，'知更鸟会dax'）泛化新属性到其他概念。
• 通过比较模型对同一分类学类别内概念（例如，麻雀）与类别外概念（例如，斑马）的预测，测试泛化偏好。
• 通过统计方法隔离类别归属的影响，控制属性重叠因素。
• 使用补充的数据过滤管道和负采样算法，确保评估集的平衡性与有效性。

实验结果

研究问题

• RQ1 神经语言模型是否表现出基于分类学类别归属而非其他特征来泛化新属性的偏好？
• RQ2 观察到的归纳偏见在多大程度上源于训练数据中的属性重叠，而非更深层的概念组织结构？
• RQ3 语言模型的归纳偏好与人类在属性归纳中观察到的行为有何异同？
• RQ4 能否设计一种框架，系统性地探测和评估语言模型在标准自然语言蕴含任务之外的归纳泛化能力？
• RQ5 大规模文本预训练在塑造下游属性归纳中观察到的分类学偏见方面起到何种作用？

主要发现

• 语言模型在判断新属性是否适用于概念方面表现显著优于随机水平，表明其可在无需任务特定微调的情况下泛化属性知识。
• 模型表现出一致的偏好，倾向于将新属性泛化到同一分类学类别中的概念（例如，麻雀）而非其他类别的概念（例如，斑马），表明存在分类学偏见。
• 即使在控制了概念间属性重叠后，这种分类学偏好依然存在，表明该偏见并非单纯由训练数据中特征共现引起。
• 结果表明，语言模型在预训练过程中编码了潜在的分类学结构，并在归纳推理过程中激活了这些结构。
• 该框架成功捕捉了类人归纳泛化模式，尤其在生物学和类别推理方面表现突出。
• 本研究证明，语言模型能够支持系统性、非演绎性推理，为理解其概念知识与推理机制提供了新视角。