[论文解读] Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies

Tal Linzen, Emmanuel Dupoux+1 more|arXiv (Cornell University)|Nov 4, 2016

Topic Modeling参考文献 46被引用 27

一句话总结

本文研究了长短期记忆（LSTM）网络是否能在没有显式句法监督的情况下学习句法敏感依赖关系——特别是英语主语-动词数一致。通过显式监督（数词预测和语法正确性判断），LSTM在简单情况下表现良好，但在结构复杂的句子中表现不佳，尤其是在缺少功能词的情况下。相比之下，仅使用语言建模无法捕捉这些依赖关系，表明直接监督对于LSTM学习句法结构至关重要。

ABSTRACT

The success of long short-term memory (LSTM) neural networks in language processing is typically attributed to their ability to capture long-distance statistical regularities. Linguistic regularities are often sensitive to syntactic structure; can such dependencies be captured by LSTMs, which do not have explicit structural representations? We begin addressing this question using number agreement in English subject-verb dependencies. We probe the architecture's grammatical competence both using training objectives with an explicit grammatical target (number prediction, grammaticality judgments) and using language models. In the strongly supervised settings, the LSTM achieved very high overall accuracy (less than 1% errors), but errors increased when sequential and structural information conflicted. The frequency of such errors rose sharply in the language-modeling setting. We conclude that LSTMs can capture a non-trivial amount of grammatical structure given targeted supervision, but stronger architectures may be required to further reduce errors; furthermore, the language modeling signal is insufficient for capturing syntax-sensitive dependencies, and should be supplemented with more direct supervision if such dependencies need to be captured.

研究动机与目标

• 评估LSTM是否能在没有显式句法标注的情况下学习句法敏感依赖关系，如主谓一致。
• 评估不同训练目标（显式数词预测、语法正确性判断和语言建模）在句法泛化方面的有效性。
• 识别LSTM依赖表面线索而非结构表征的失败案例。
• 探究仅靠语言建模是否足以让LSTM学习层次化的句法依赖关系。

提出的方法

• 在大规模维基百科语料库上训练LSTM，基于前面的名词预测动词数。
• 使用显式目标标签的监督性数词预测任务，以实现主谓一致。
• 在具有不同程度句法复杂度的保留测试集上评估性能，包括中间存在相反数名词的情况。
• 比较三种训练模式的结果：数词预测、语法正确性判断和下一个词语言建模。
• 分析错误模式，以判断模型是否过度依赖功能词和结构线索。
• 对激活模式进行定性分析，以评估句法表征学习情况。

实验结果

研究问题

• RQ1 LSTM能否在没有显式句法监督的情况下学习主谓数一致？
• RQ2 在强监督任务（如数词预测）与弱监督任务（如语法正确性判断）之间，性能差异如何？
• RQ3 仅靠语言建模是否足以让LSTM学习句法敏感依赖关系？
• RQ4 哪些句法结构会导致LSTM模型错误率更高？
• RQ5 LSTM在多大程度上依赖表面线索（如功能词）而非句法结构？

主要发现

• 在数词预测任务中，LSTM在简单情况下错误率低于1%，但在存在四个相反数名词的复杂情况下错误率上升至17%。
• 在缺少功能词的情况下（如名词-名词复合词和省略关系从句），错误率显著上升，表明其过度依赖表面线索。
• 语法正确性判断任务仅提供句子级标签而未标识违规动词，其错误率相比数词预测任务仅略有上升。
• 在缺乏显式语法监督的语言建模任务中，LSTM在复杂一致情况下的表现甚至低于随机水平，错误率是数词预测设置的五倍以上。
• 即使是最先进的大规模语言模型也对结构无关的近期名词表现出高度敏感，证实仅靠语言建模目标不足以捕捉句法敏感依赖关系。
• 结果表明，为实现序列模型中可靠的句法泛化，需要更强的结构归纳偏置或与显式监督联合训练。