[论文解读] Exploring the Syntactic Abilities of RNNs with Multi-task Learning

Émile Enguehard, Yoav Goldberg+1 more|arXiv (Cornell University)|Jun 12, 2017

Topic Modeling参考文献 26被引用 6

一句话总结

本文研究了循环神经网络（RNNs）是否可以通过同时训练主谓一致预测以及CCG超标签化或语言建模，来学习更鲁棒的句法表示。多任务学习显著降低了错误率——尤其是在复杂句子中表现突出——表明RNNs在更强监督下可实现更好的句法泛化能力，且一致预测数据可提升相关句法任务（如超标签化）的性能。

ABSTRACT

Recent work has explored the syntactic abilities of RNNs using the subject-verb agreement task, which diagnoses sensitivity to sentence structure. RNNs performed this task well in common cases, but faltered in complex sentences (Linzen et al., 2016). We test whether these errors are due to inherent limitations of the architecture or to the relatively indirect supervision provided by most agreement dependencies in a corpus. We trained a single RNN to perform both the agreement task and an additional task, either CCG supertagging or language modeling. Multi-task training led to significantly lower error rates, in particular on complex sentences, suggesting that RNNs have the ability to evolve more sophisticated syntactic representations than shown before. We also show that easily available agreement training data can improve performance on other syntactic tasks, in particular when only a limited amount of training data is available for those tasks. The multi-task paradigm can also be leveraged to inject grammatical knowledge into language models.

研究动机与目标

• 确定RNNs在捕捉复杂句法结构方面的局限性是否源于架构约束，或源于监督不足。
• 评估与辅助句法任务（如CCG超标签化或语言建模）联合训练是否能提升RNNs在主谓一致预测上的表现，尤其是在复杂句子中。
• 探究一致预测数据是否可作为弱监督，以提升低资源句法任务（如CCG超标签化）的性能。
• 评估多任务训练是否能在不降低困惑度的前提下，提升语言模型的句法感知能力。

提出的方法

• 训练单一RNN模型，联合执行主谓一致预测以及CCG超标签化或语言建模。
• 采用多任务学习框架，模型在不同任务间共享隐藏表示，并通过任务特定损失的加权和进行联合优化。
• 使用保留的测试集评估一致预测性能，包括简单启发式方法失效的复杂关系子句句子。
• 通过比较词汇和词性标注基预测中语法正确与错误动词形式的相对似然性，衡量语言模型的句法感知能力。
• 探索了词汇化与非词汇化评估方法，以评估模型对句法约束的敏感性。
• 通过消融研究比较单任务与多任务模型，重点关注在超标签化低资源场景下的性能提升。

实验结果

研究问题

• RQ1 与句法辅助任务联合训练是否能提升RNNs在主谓一致预测上的表现，尤其是在复杂句子中？
• RQ2 与一致预测联合训练是否能增强语言模型的句法感知能力，即使未改善困惑度？
• RQ3 一致预测数据是否可作为有效弱监督，以提升低资源句法任务（如CCG超标签化）的性能？
• RQ4 RNNs的句法局限性是源于架构约束，还是源于自然语言语料中监督不足？

主要发现

• 与CCG超标签化联合训练将复杂关系子句句子的一致错误率从49.4%降至23.8%，准确率从50.6%提升至76.2%。
• 与语言建模联合训练虽未降低困惑度，但显著提升了语法正确动词形式的相对排序，表明句法感知能力更强。
• 在CCG训练数据有限的情况下，与一致预测联合训练显著提升了超标签化准确率，证明了一致预测数据作为弱监督的实用性。
• 与一致预测联合训练的语言模型在使用词性标签识别正确动词形式方面接近专家水平，优于单任务语言模型和基线启发式方法。
• 即使未显式设计一致预测头，联合训练的语言模型生成的概率分布也更倾向于语法正确的动词形式，表明句法泛化能力得到提升。
• 结果表明，RNNs具备学习比以往观察到更复杂句法表示的能力，且先前研究中的局限性更可能源于监督不足，而非架构不兼容。