[论文解读] A Cross-Genre Ensemble Approach to Robust Reddit Part of Speech Tagging

Shabnam Behzad, Amir Zeldes|arXiv (Cornell University)|Apr 29, 2020

Natural Language Processing Techniques被引用 9

一句话总结

本文提出了一种跨语体集成方法，以提升在Reddit非正式、用户生成内容上的词性标注（POS）鲁棒性。通过在多种语体上微调最先进的Flair模型，并利用元分类器融合多个单语体标注器的预测结果，该方法在Reddit上实现了最先进性能，表明即使少量领域内数据也优于大规模领域外语料库。

ABSTRACT

Part of speech tagging is a fundamental NLP task often regarded as solved for high-resource languages such as English. Current state-of-the-art models have achieved high accuracy, especially on the news domain. However, when these models are applied to other corpora with different genres, and especially user-generated data from the Web, we see substantial drops in performance. In this work, we study how a state-of-the-art tagging model trained on different genres performs on Web content from unfiltered Reddit forum discussions. More specifically, we use data from multiple sources: OntoNotes, a large benchmark corpus with 'well-edited' text, the English Web Treebank with 5 Web genres, and GUM, with 7 further genres other than Reddit. We report the results when training on different splits of the data, tested on Reddit. Our results show that even small amounts of in-domain data can outperform the contribution of data an order of magnitude larger coming from other Web domains. To make progress on out-of-domain tagging, we also evaluate an ensemble approach using multiple single-genre taggers as input features to a meta-classifier. We present state of the art performance on tagging Reddit data, as well as error analysis of the results of these models, and offer a typology of the most common error types among them, broken down by training corpus.

研究动机与目标

• 解决最先进的词性标注器在应用于非正式、用户生成的网络内容（如Reddit）时性能下降的问题。
• 探究领域内训练数据（Reddit）是否能优于来自其他网络语体的大规模领域外语料库。
• 开发并评估一种集成方法，使用语体特定标注器作为输入特征，以提升模型的领域泛化能力。
• 通过分析在不同语料库上训练的模型的错误模式，识别Reddit上词性标注的常见失败模式。
• 根据训练语料库提供错误类型分类，以指导未来领域自适应词性标注的改进。

提出的方法

• 在多个多样化语料库上微调Flair序列标注框架：OntoNotes（编辑良好的文本）、English Web Treebank（5种网络语体）以及GUM（7种额外语体，包括Reddit）。
• 在每个语料库上分别训练单语体词性标注器，以对同一Reddit测试集生成独立预测。
• 将这些语体特定标注器的预测结果作为输入特征，输入至一个元分类器，以聚合生成最终的共识词性标注预测。
• 通过消融研究评估每个语体特定标注器对集成模型性能的贡献。
• 采用与通用依存标注（Universal Dependencies）兼容的分层标注方案，以确保在多样化语言结构中的统一性。
• 通过将模型输出与标准参考标注进行比较，对错误进行分类分析，按错误类型和训练语料库进行分类。

实验结果

研究问题

• RQ1 与大规模领域外语料库相比，少量领域内Reddit数据是否能显著提升词性标注性能？
• RQ2 当将最先进的词性标注器应用于Reddit的非正式、噪声较大的文本时，其性能相较于新闻报道或编辑良好的语料库会下降多少？
• RQ3 与单模型基线相比，语体特定标注器的集成在Reddit上的鲁棒性和准确率提升程度如何？
• RQ4 Reddit上词性标注中最常见的错误类型是什么？这些错误在不同训练语料库之间有何差异？
• RQ5 哪些语体特定标注器对集成模型在Reddit上的性能贡献最大？

主要发现

• 即使少量领域内Reddit训练数据，也优于在语料规模大一个数量级但来自其他网络语体的模型。
• 使用多个语体特定标注器预测结果的集成模型，在Reddit词性标注任务上达到了最先进性能。
• 错误分析显示，未登录词（OOV）、非正式缩写和非标准大写形式是导致标注错误的主要原因。
• 在GUM和English Web Treebank上训练的标注器在Reddit上的错误率高于在OntoNotes上训练的标注器，表明存在语体不匹配效应。
• 与单个标注器相比，元分类器显著降低了错误率，尤其在罕见或歧义词性标注上表现更优。
• 常见错误类型包括专有名词、动词和功能词的误分类，且错误模式因训练语料库的不同而呈现明显差异。