[论文解读] Binary and Multitask Classification Model for Dutch Anaphora Resolution: Die/Dat Prediction

Liesbeth Allein, Artuur Leeuwenberg+1 more|arXiv (Cornell University)|Jan 9, 2020

Natural Language Processing Techniques参考文献 12被引用 6

一句话总结

本文提出了一种用于荷兰语回指消解的神经网络模型，特别针对上下文中 'die' 和 'dat' 代词的正确使用进行预测。采用双向LSTM架构的二分类模型准确率达到84.56%，而联合预测代词选择与词性标签的多任务模型准确率达到88.63%，表明整合词性知识与上下文编码具有显著优势。

ABSTRACT

The correct use of Dutch pronouns 'die' and 'dat' is a stumbling block for both native and non-native speakers of Dutch due to the multiplicity of syntactic functions and the dependency on the antecedent's gender and number. Drawing on previous research conducted on neural context-dependent dt-mistake correction models (Heyman et al. 2018), this study constructs the first neural network model for Dutch demonstrative and relative pronoun resolution that specifically focuses on the correction and part-of-speech prediction of these two pronouns. Two separate datasets are built with sentences obtained from, respectively, the Dutch Europarl corpus (Koehn 2015) - which contains the proceedings of the European Parliament from 1996 to the present - and the SoNaR corpus (Oostdijk et al. 2013) - which contains Dutch texts from a variety of domains such as newspapers, blogs and legal texts. Firstly, a binary classification model solely predicts the correct 'die' or 'dat'. The classifier with a bidirectional long short-term memory architecture achieves 84.56% accuracy. Secondly, a multitask classification model simultaneously predicts the correct 'die' or 'dat' and its part-of-speech tag. The model containing a combination of a sentence and context encoder with both a bidirectional long short-term memory architecture results in 88.63% accuracy for die/dat prediction and 87.73% accuracy for part-of-speech prediction. More evenly-balanced data, larger word embeddings, an extra bidirectional long short-term memory layer and integrated part-of-speech knowledge positively affects die/dat prediction performance, while a context encoder architecture raises part-of-speech prediction performance. This study shows promising results and can serve as a starting point for future research on machine learning models for Dutch anaphora resolution.

研究动机与目标

• 开发一种能够自动检测并纠正荷兰语代词 'die' 和 'dat' 使用错误的神经网络模型。
• 探究多任务学习方法是否可通过联合预测代词选择与词性标签来提高预测准确率。
• 评估词嵌入、双向LSTM层以及上下文编码器等架构组件对模型性能的影响。
• 为未来基于机器学习的荷兰语回指消解研究建立基础框架。

提出的方法

• 从荷兰语Europarl和SoNaR语料库中构建了两个数据集，包含含有 'die' 和 'dat' 实例的句子。
• 二分类模型使用双向LSTM来预测在上下文中 'die' 或 'dat' 哪一个是正确的。
• 多任务分类模型在二分类模型基础上扩展，联合预测代词及其词性标签（指示代词、关系代词或从属连词）。
• 模型采用句子编码器和上下文编码器，后者以前馈网络或双向LSTM实现。
• 扩展了词嵌入，并将词性知识整合到输入表示中以提升性能。
• 通过在测试集上的准确率评估模型性能，并对架构组件进行了消融研究。

实验结果

研究问题

• RQ1 神经网络模型能否基于上下文准确预测荷兰语句子中 'die' 或 'dat' 哪一个是正确的代词？
• RQ2 在联合预测代词选择的同时预测词性标签是否能提高整体预测准确率？
• RQ3 词嵌入大小、LSTM层数量以及上下文编码器类型等架构选择如何影响模型性能？
• RQ4 整合词性知识在多大程度上提升了模型正确解析 'die' 和 'dat' 的能力？

主要发现

• 使用双向LSTM的二分类模型在预测 'die' 或 'dat' 时准确率达到84.56%。
• 采用双向LSTM上下文编码器的多任务模型在 'die'/'dat' 预测上达到88.63%的准确率，在词性标注上达到87.73%的准确率。
• 增加词嵌入大小、添加额外的双向LSTM层以及整合词性知识，均显著提升了 'die'/'dat' 预测性能。
• 上下文编码器，特别是双向LSTM变体，对词性预测准确率有显著积极影响。
• 采用双向LSTM上下文编码器的多任务模型在所有评估指标上均优于其他所有配置。
• 结果表明，整合句法知识与上下文建模可显著增强神经网络在荷兰语代词消解任务中的表现。