[论文解读] Injecting structural hints: Using language models to study inductive biases in language learning

Isabel Papadimitriou, Dan Jurafsky|arXiv (Cornell University)|Apr 25, 2023

Natural Language Processing Techniques被引用 5

一句话总结

本文通过在GPT-2规模的语言模型上预训练形式化结构数据，注入结构先验——递归层次结构、非上下文无关的交叉依存关系以及齐夫词频分布——来研究语言学习中的归纳偏置。关键发现是，非上下文无关的交叉依存关系作为归纳偏置，其在下游语言学习中的效果强于仅依赖递归结构，当1%的上下文敏感结构破坏了成分递归时，混合模型的性能进一步提升。

ABSTRACT

Both humans and large language models are able to learn language without explicit structural supervision. What inductive biases make this learning possible? We address this fundamental cognitive question by leveraging transformer language models: we inject inductive bias into language models by pretraining on formally-structured data, and then evaluate the biased learners' ability to learn typologically-diverse natural languages. Our experimental setup creates a testbed for hypotheses about inductive bias in human language learning. We investigate the effect of injecting models with three types of inductive bias: 1) recursive, hierarchical processing, 2) crossing token-token relationships that can't be modeled by context-free grammars, and 3) a Zipfian power-law vocabulary distribution. We show that non-context-free relationships form the best inductive biases. Our study leverages the capabilities of transformer models to run controlled language learning experiments that are not possible to run on humans, and surfaces hypotheses about the structures that facilitate language learning in both humans and machines.

研究动机与目标

• 探究哪些结构归纳偏置能使语言模型在无显式监督的情况下学习自然语言。
• 检验递归、非上下文无关依赖关系或齐夫词频分布是否在语言学习中构成更强的归纳偏置。
• 探索不同结构偏置的组合如何影响下游语言建模性能。
• 为人类语言习得背后的认知归纳偏置生成可检验的假设。
• 通过人工学习者提供一个受控的实验框架，以探究人类语言认知中的基本问题。

提出的方法

• 在强制实施特定结构偏置的合成形式语言语料上预训练GPT-2规模的语言模型：递归成分结构、交叉依赖关系以及齐夫词频分布。
• 通过在具有形式语法规则约束的独立合成数据集上微调，将每种归纳偏置注入模型。
• 使用英语、日语和巴斯克语的维基百科风格文本作为下游语言建模任务的评估数据。
• 以困惑度为主要指标，比较不同注入偏置的模型性能。
• 系统性地改变在主要递归偏置中上下文敏感结构的比例，以测试混合效应。
• 确保预训练数据与微调数据之间无词汇重叠，以隔离结构偏置的影响，排除词汇暴露的干扰。

实验结果

研究问题

• RQ1 在语言学习中，递归层次结构的归纳偏置是否优于非上下文无关交叉依赖关系的偏置？
• RQ2 一种混合归纳偏置——以递归为主，但包含少量上下文敏感依赖关系——是否比纯递归更有效？
• RQ3 即使预训练与微调数据之间无词汇重叠，齐夫幂律词频分布的偏置是否仍能提升语言学习性能？
• RQ4 不同归纳偏置如何影响不同类型语言（语言类型多样）的句法与语篇层级结构的习得？
• RQ5 人工语言模型能否作为受控实验平台，用于生成关于人类语言学习偏置的认知假设？

主要发现

• 在下游语言建模任务中，使用非上下文无关交叉依赖关系预训练的模型，其性能优于仅具有递归成分结构的模型。
• 在原本以递归为主偏置的模型中，仅引入1%的上下文敏感交叉依赖关系，即显著提升了语言学习性能。
• 即使预训练与微调语料之间无词汇重叠，齐夫词频分布的偏置仍能提升下游语言建模性能。
• 递归与非上下文无关偏置均显著优于随机语言与规则语言基线，表明存在强烈的归纳偏置效应。
• 研究结果挑战了“递归本身是语言学习最关键归纳偏置”的假设，表明复杂且非上下文无关的关系可能具有同等甚至更强的影响力。
• 本研究证明，人工语言模型可作为可行的实验平台，用于探究关于人类语言习得认知假设的问题。