[论文解读] Distinct patterns of syntactic agreement errors in recurrent networks and humans

Tal Linzen, Brian Leonard|arXiv (Cornell University)|Jul 18, 2018

Neurobiology of Language and Bilingualism参考文献 8被引用 42

一句话总结

论文比较 RNN 和人类在主谓一致错误时在吸引子和句法结构上的差异，同时揭示相似之处和重要差异，表明 RNN 表征与人类句法处理存在分歧。

ABSTRACT

Determining the correct form of a verb in context requires an understanding of the syntactic structure of the sentence. Recurrent neural networks have been shown to perform this task with an error rate comparable to humans, despite the fact that they are not designed with explicit syntactic representations. To examine the extent to which the syntactic representations of these networks are similar to those used by humans when processing sentences, we compare the detailed pattern of errors that RNNs and humans make on this task. Despite significant similarities (attraction errors, asymmetry between singular and plural subjects), the error patterns differed in important ways. In particular, in complex sentences with relative clauses error rates increased in RNNs but decreased in humans. Furthermore, RNNs showed a cumulative effect of attractors but humans did not. We conclude that at least in some respects the syntactic representations acquired by RNNs are fundamentally different from those used by humans.

研究动机与目标

• 研究 RNN 的句法表征是否与人类在句子处理过程中使用的表征相似。
• 考察吸引子及其结构位置如何影响 RNN 和人类的主谓一致错误。
• 测试 PP 与 RC 修饰语的错误模式是否不同，以推断潜在的表示。
• 评估人类和 RNN 是否在多个吸引子下表现出累积吸引效应。

提出的方法

• 训练 20 个基于 LSTM 的 RNN（隐藏单元数为 50 和 1000），从由维基百科句子生成的前导语预测动词数。
• 使用带有被删动词的前导语在三种时间压力范式下诱发单数/复数一致性决策（is/are）: RSVP、SPR 和 Untimed。
• 在相同材料上将实验 1 中人类参与者的错误与 RNN 预测进行比较，以识别定性上的相似性和差异。
• 进行第二实验，使用 RC 与 PP 结构以检验累积吸引和 RC 长度启发式。
• 用 1000 维 RNN 来模拟人类结果，并操控 RC 长度与词序以探究短 RC 启发式。
• 在作者的 GitHub 仓库提供可复现的代码和材料。

实验结果

研究问题

• RQ1 当吸引子在数量上与主语不同的时候，RNN 与人类是否显示出吸引效应？
• RQ2 吸引子的位置结构（PP 与 RC）如何影响人类与 RNN 的主谓一致错误？
• RQ3 RNN 是否在多个吸引子下表现出累积吸引，在人类中是否也有类似表现？
• RQ4 PP 与 RC 修饰词的错误模式是否存在定性差异，揭示不同的潜在表征？

主要发现

• 人类在局部名词与主语数量不同的时候，显示出增加的吸引错误。
• 错误不对称性：当主语为单数而吸引子为复数时，吸引错误更频繁。
• 实验 1 显示对于人类，PP 吸引子产生的错误比 RC 吸引子多；而 RNN 在 RC 中的错误多于 PP。
• RNN 在多个吸引子下表现出累积吸引效应，与实验 2 的人类不同。
• 材料中颠倒 RC 顺序会增加 RNN 的错误，支持短 RC 启发式，而非仅仅基于邻近干扰。