[论文解读] Can RNNs learn Recursive Nested Subject-Verb Agreements?

Yair Lakretz, Théo Desbordes+4 more|arXiv (Cornell University)|Jan 6, 2021

Topic Modeling参考文献 35被引用 13

一句话总结

本文研究循环神经网络（RNNs）是否能够学习递归嵌套的主语-动词一致关系，这是一种需要长距离依赖和层次结构的句法挑战。通过在多种RNN架构（包括LSTM、GRU、ON-LSTM、stack-RNN和stack-LSTM）上进行系统性实验，研究发现标准RNN在训练分布之外无法泛化，而基于堆栈的模型在捕捉递归依赖方面表现出有限的成功，尤其在增加深度和间距时表现更明显。

ABSTRACT

One of the fundamental principles of contemporary linguistics states that language processing requires the ability to extract recursively nested tree structures. However, it remains unclear whether and how this code could be implemented in neural circuits. Recent advances in Recurrent Neural Networks (RNNs), which achieve near-human performance in some language tasks, provide a compelling model to address such questions. Here, we present a new framework to study recursive processing in RNNs, using subject-verb agreement as a probe into the representations of the neural network. We trained six distinct types of RNNs on a simplified probabilistic context-free grammar designed to independently manipulate the length of a sentence and the depth of its syntactic tree. All RNNs generalized to subject-verb dependencies longer than those seen during training. However, none systematically generalized to deeper tree structures, even those with a structural bias towards learning nested tree (i.e., stack-RNNs). In addition, our analyses revealed primacy and recency effects in the generalization patterns of LSTM-based models, showing that these models tend to perform well on the outer- and innermost parts of a center-embedded tree structure, but poorly on its middle levels. Finally, probing the internal states of the model during the processing of sentences with nested tree structures, we found a complex encoding of grammatical agreement information (e.g. grammatical number), in which all the information for multiple words nouns was carried by a single unit. Taken together, these results indicate how neural networks may extract bounded nested tree structures, without learning a systematic recursive rule.

研究动机与目标

• 评估循环神经网络是否能够学习合成句法结构中的递归嵌套主语-动词一致关系。
• 评估不同RNN架构在深度和间距方面超越训练分布的泛化能力。
• 研究架构归纳偏置（如基于堆栈的记忆或分块计算）在支持学习层次句法依赖方面的作用。
• 确定在不同单复数主语概率下训练的模型，是否能泛化到更长或更复杂的递归结构。

提出的方法

• 通过控制单复数主语的概率（p1, p2）生成合成数据集，调整主语与动词之间的深度（d）和间距（s）。
• 训练了多种RNN架构：标准LSTM、GRU、ON-LSTM、stack-RNN和stack-LSTM，系统性地调整了层、隐藏单元数、嵌入维度和dropout等超参数。
• 使用ADAM优化器训练20个周期（stack模型为3个周期），学习率固定为1e-3，并基于验证困惑度进行早停。
• 在数量一致任务上评估性能，测量在深度和间距递增的句子中每个动词的准确率。
• 通过细胞状态动态和主成分分析（PCA）分析内部表示，特别关注是否存在类似计数或层次状态的模式。
• 可视化不同（d, s）组合下的测试困惑度和准确率矩阵，以评估在训练分布之外的泛化能力。

实验结果

研究问题

• RQ1 标准RNN如LSTM和GRU能否在训练中未见的最大深度和间距之外泛化到递归主语-动词一致关系？
• RQ2 与标准RNN相比，如stack-RNN或ON-LSTM等架构创新是否能提升在递归句法依赖上的泛化能力？
• RQ3 不同数据分布（p1, p2）如何影响模型在未见（d, s）组合上的性能和泛化能力？
• RQ4 训练后模型的内部细胞状态是否表现出与计数或追踪递归依赖一致的动力学？
• RQ5 ON-LSTM和基于堆栈的模型中的注意力或记忆机制在支持学习层次句法结构方面发挥了多大作用？

主要发现

• 标准LSTM和GRU在训练中未见的最大深度和间距之外的递归结构上泛化失败，对未见（d, s）组合的准确率接近零。
• ON-LSTM相比标准LSTM表现更优，尤其在处理较长间距时，但仍无法泛化到更深的递归结构。
• stack-RNN和stack-LSTM展现出最强的泛化能力，在更深结构（d=3）和更长间距（s=12）上达到非平凡的准确率，但超出训练限制后性能显著下降。
• 细胞状态的PCA分析揭示了成功模型中类似计数的动力学，表明它们通过状态演化学习追踪嵌套依赖的数量。
• 最优模型基于验证困惑度选择，结果显示在平衡数据（p1=p2=0.5）上训练的模型比在倾斜分布上训练的模型泛化能力更强。
• 细胞状态动态的可视化表明，成功模型通过随时间步变化的、独特且稳定的态模式，编码了主语数量和嵌套深度。