[论文解读] Studying the Inductive Biases of RNNs with Synthetic Variations of Natural Languages

Shauli Ravfogel, Yoav Goldberg+1 more|arXiv (Cornell University)|Mar 15, 2019

Natural Language Processing Techniques被引用 16

一句话总结

本文提出了一种受控实验框架，通过生成在词序、格标记和一致关系模式上存在差异的英语合成变体，研究RNN的归纳偏置。基于已句法分析的Penn Treebank语料库，作者构建了参数化修改的语言，并训练RNN模型预测主语和宾语的单复数。关键发现表明，RNN表现出明显的近期性偏置（在SVO结构中表现优于SOV或VSO结构），即使在同形标记形式下也显著受益于显式格标记，并通过多任务多性一致关系训练在不同论元类型间实现泛化。

ABSTRACT

How do typological properties such as word order and morphological case marking affect the ability of neural sequence models to acquire the syntax of a language? Cross-linguistic comparisons of RNNs' syntactic performance (e.g., on subject-verb agreement prediction) are complicated by the fact that any two languages differ in multiple typological properties, as well as by differences in training corpus. We propose a paradigm that addresses these issues: we create synthetic versions of English, which differ from English in one or more typological parameters, and generate corpora for those languages based on a parsed English corpus. We report a series of experiments in which RNNs were trained to predict agreement features for verbs in each of those synthetic languages. Among other findings, (1) performance was higher in subject-verb-object order (as in English) than in subject-object-verb order (as in Japanese), suggesting that RNNs have a recency bias; (2) predicting agreement with both subject and object (polypersonal agreement) improves over predicting each separately, suggesting that underlying syntactic knowledge transfers across the two tasks; and (3) overt morphological case makes agreement prediction significantly easier, regardless of word order.

研究动机与目标

• 隔离特定类型学特征（如词序、形态格、一致关系模式）对RNN学习句法泛化能力的影响。
• 通过控制语料差异和多重类型学变量，解决跨语言比较中的局限性。
• 探究RNN是否表现出偏好某些句法结构而非其他结构的归纳偏置。
• 评估在多性一致关系上进行多任务学习是否能提升主语和宾语论元之间的句法泛化能力。
• 确定显式格标记和词序灵活性如何影响RNN在一致关系预测任务中的表现。

提出的方法

• 作者使用已句法分析的英语语料库（Universal Dependencies版Penn Treebank）作为生成合成语言的基础。
• 通过修改句法树结构，创建词序（SVO、SOV、VOS、OSV、OVS）、格标记（明确、同形、论元标记）和一致关系模式（多性一致关系）的参数化变化。
• 针对每种合成语言，通过掩码动词生成训练数据，并训练RNN模型预测主语和宾语的单复数。
• 通过模型在掩码动词预测任务中对主语和宾语论元单复数特征的预测准确率来评估模型性能。
• 该方法确保每次仅改变一个类型学参数，从而隔离其对模型性能的影响。
• 研究采用刺激贫乏范式，测试RNN是否更倾向于基于近期性的泛化（如主语是动词前最近的论元）而非结构位置的泛化（如主语是第一个论元）。

实验结果

研究问题

• RQ1 词序（如SVO与SOV）是否显著影响RNN预测主语和宾语单复数的能力？
• RQ2 显式形态格标记如何影响RNN在一致关系预测任务中的表现？
• RQ3 在多性一致关系上进行多任务训练（同时预测主语和宾语单复数）是否优于单任务学习，从而提升泛化能力？
• RQ4 RNN在多大程度上表现出近期性偏置，即更倾向于基于最近观察到的论元进行泛化？
• RQ5 与明确格标记相比，同形标记（如单复数共享标记）对性能有何影响？

主要发现

• RNN表现出显著的近期性偏置：在SVO词序中，主语单复数预测准确率达95.7%，但在灵活词序中降至88.6%，在SOV和VOS结构中表现更低。
• 显式形态格标记显著提升性能：在所有词序下，明确格系统中主语和宾语单复数预测准确率均超过98%。
• 即使在完全同形的格系统中（仅标记单复数），性能依然很高——灵活词序下主语准确率为96.0%，宾语为86.1%，表明格标记提供了强大的归纳偏置。
• 多性一致关系训练（同时预测主语和宾语单复数）优于单任务训练，表明RNN能将在主语和宾语论元间迁移句法知识。
• 在刺激贫乏情景下，RNN更偏好基于近期性的泛化（主语是动词前最近的论元）而非基于结构位置的泛化（主语是第一个论元），证实了近期性偏置的存在。
• 在无格标记的灵活词序中，性能严重下降——宾语预测准确率仅为60.2%，凸显了格标记在论元歧义消解中的关键作用。