[论文解读] Universal linguistic inductive biases via meta-learning

R. Thomas McCoy, Erin Grant+3 more|arXiv (Cornell University)|Jun 29, 2020

Natural Language Processing Techniques参考文献 29被引用 15

一句话总结

该论文提出了一种元学习框架，通过在精心筛选的人工语言分布上进行训练，将普遍语言归纳偏置注入神经网络模型。该方法成功地将抽象音节结构普遍规律（如蕴含关系）编码到模型的初始参数中，使其能够以类人、基于偏置的方式泛化至未见过的语言模式。

ABSTRACT

How do learners acquire languages from the limited data available to them? This process must involve some inductive biases - factors that affect how a learner generalizes - but it is unclear which inductive biases can explain observed patterns in language acquisition. To facilitate computational modeling aimed at addressing this question, we introduce a framework for giving particular linguistic inductive biases to a neural network model; such a model can then be used to empirically explore the effects of those inductive biases. This framework disentangles universal inductive biases, which are encoded in the initial values of a neural network's parameters, from non-universal factors, which the neural network must learn from data in a given language. The initial state that encodes the inductive biases is found with meta-learning, a technique through which a model discovers how to acquire new languages more easily via exposure to many possible languages. By controlling the properties of the languages that are used during meta-learning, we can control the inductive biases that meta-learning imparts. We demonstrate this framework with a case study based on syllable structure. First, we specify the inductive biases that we intend to give our model, and then we translate those inductive biases into a space of languages from which a model can meta-learn. Finally, using existing analysis techniques, we verify that our approach has imparted the linguistic inductive biases that it was intended to impart.

研究动机与目标

• 开发一种计算框架，使神经网络能够以数据驱动、灵活的方式习得普遍语言归纳偏置。
• 将编码在初始模型参数中的普遍归纳偏置与训练过程中学习到的语言特异性因素分离开来。
• 通过实证方法验证元学习能否成功编码假设的语言普遍规律，例如音节结构中的蕴含关系。
• 通过将抽象的归纳偏置转化为可学习的语言分布，弥合符号认知理论中关于语言普遍规律的理论与神经网络的表征能力之间的鸿沟。
• 提供一种可推广的方法，用于测试语言学习模型中特定归纳偏置的行为效应。

提出的方法

• 定义一组目标语言归纳偏置（例如音节结构中的蕴含普遍规律），使模型能够学习这些偏置。
• 将这些偏置转化为一种人工语言分布，以编码所需的结构约束和依赖关系。
• 通过元学习在该语言分布上训练神经网络，其中每种语言作为一个具有有限训练数据的训练任务。
• 元学习过程优化模型的初始参数配置，使其能够快速适应该分布中的任意语言。
• 通过下游评估任务分析元学习得到的初始化，以验证模型是否表现出预期的归纳偏置。
• 使用现有分析技术确认模型根据指定的语言普遍规律进行泛化，例如从部分输入映射预测输出模式。

实验结果

研究问题

• RQ1 元学习能否有效将抽象的语言归纳偏置（如音节结构中的蕴含普遍规律）编码到神经网络的初始参数中？
• RQ2 元学习得到的初始化在多大程度上使模型以符合人类语言习得模式的方式进行泛化？
• RQ3 该框架是否能够在模型在人工语言分布上训练的情况下，区分并隔离普遍归纳偏置与语言特异性学习？
• RQ4 与符号认知模型相比，元学习赋予的归纳偏置在透明度和行为结果方面有何异同？
• RQ5 该方法能否扩展至从未知生成过程的真实语言数据中发现归纳偏置？

主要发现

• 元学习模型成功习得并泛化了24种音节结构中的蕴含依赖关系，证明其已内化了预期的归纳偏置。
• 与随机初始化的模型相比，元学习模型在未见的输入-输出映射上表现显著更优（例如，从V输入预测.CV.），证实了所学普遍约束的存在。
• 模型对已记录的语言类型表现出一种柔和的偏好，但并未完全排除未记录的类型，支持语言普遍规律是概率性倾向而非绝对约束的观点。
• 对元学习初始化的分析确认，模型已习得诸如一致的约束排序和音位分类（例如，将某些音素视为元音）等偏置。
• 该框架成功地将符号驱动、理论导向的语言普遍规律转化为可训练、数据驱动的格式，与神经网络兼容。
• 该方法表明，神经网络可以以可实证验证且具认知可解释性的方式，被赋予类人的归纳偏置。