[论文解读] Can LSTM Learn to Capture Agreement? The Case of Basque

Shauli Ravfogel, Francis M. Tyers+1 more|arXiv (Cornell University)|Sep 11, 2018

Natural Language Processing Techniques参考文献 16被引用 10

一句话总结

本文研究了LSTM是否能隐式学习巴斯克语中的句法一致关系，巴斯克语具有作格-通格语序和复杂的词形变化。尽管在词尾恢复和动词数预测任务上进行训练，模型的表现仍远逊于英语，其表现依赖于局部启发式规则而非深层句法结构，表明巴斯克语的一致性是评估神经网络模型句法泛化能力的具有挑战性的基准。

ABSTRACT

Sequential neural networks models are powerful tools in a variety of Natural Language Processing (NLP) tasks. The sequential nature of these models raises the questions: to what extent can these models implicitly learn hierarchical structures typical to human language, and what kind of grammatical phenomena can they acquire? We focus on the task of agreement prediction in Basque, as a case study for a task that requires implicit understanding of sentence structure and the acquisition of a complex but consistent morphological system. Analyzing experimental results from two syntactic prediction tasks -- verb number prediction and suffix recovery -- we find that sequential models perform worse on agreement prediction in Basque than one might expect on the basis of a previous agreement prediction work in English. Tentative findings based on diagnostic classifiers suggest the network makes use of local heuristics as a proxy for the hierarchical structure of the sentence. We propose the Basque agreement prediction task as challenging benchmark for models that attempt to learn regularities in human language.

研究动机与目标

• 评估LSTM是否能通过巴斯克语中的一致性预测隐式学习分层句法结构。
• 将巴斯克语一致关系任务上的表现与英语及其他印欧语言的先前研究进行比较。
• 探究诊断分类器是否能揭示LSTM隐藏状态中编码的语法泛化规律。
• 提出将巴斯克语一致关系预测作为神经序列模型句法能力的具有挑战性的基准。

提出的方法

• 作者设计了两个任务：动词数预测和词尾恢复，利用未标注的巴斯克语文本语料收集一致关系数据。
• 他们在这些任务上训练双向LSTM（BiLSTM），并使用准确率指标评估性能。
• 在最终隐藏状态上训练诊断分类器（两层隐藏层的MLP），以预测格、数、词性（POS）和依存关系。
• 在正确和错误预测上均评估模型，以判断即使预测失败，语法信息是否仍被编码。
• 研究使用巴斯克语通用依存语料库提取状态表示并用于诊断训练。
• 实验包括控制设置，涉及含混词尾和不同数量的一致吸引子，以评估模型的鲁棒性。

实验结果

研究问题

• RQ1 LSTM能否像在英语中一样，有效学习巴斯克语中作格-通格语序和丰富词形变化语言的一致性模式？
• RQ2 BiLSTM模型在一致关系预测中在多大程度上依赖局部线索而非分层句法结构？
• RQ3 在词尾恢复任务上训练的模型隐藏状态中，编码了哪些语法泛化规律（如格、数、词性）？
• RQ4 一致关系预测表现不佳是否与隐藏表示中未能编码底层句法信息相关？
• RQ5 即使模型预测错误，诊断分类器是否仍能检测到语法规律？

主要发现

• BiLSTM模型在动词数预测任务上准确率为56.2%，在词尾恢复任务上为62.1%，显著低于英语中类似任务的表现。
• 随着一致吸引子数量增加，性能下降，在四个吸引子时低于随机猜测水平，表明其依赖局部启发式规则。
• 在正确预测的词上，诊断分类器在数预测上达到95.0%的准确率，在格预测上达到93.5%，表明语法特征被强烈编码。
• 即使在错误预测的词上，诊断模型在数预测上仍达到74.7%的准确率，在格预测上达到69.7%，表明部分语法信息仍被编码。
• 模型学习到了诸如形态句法语序、数和词性等泛化规律，诊断分类器在所有词上的词性预测准确率达87.5%，格预测准确率达85.7%。
• 词尾恢复的成功与模型推断最近动词的能力相关，当BiLSTM预测正确时，线性模型的成功率提高了14%。