[论文解读] Annotating the Tweebank Corpus on Named Entity Recognition and Building NLP Models for Social Media Analysis

Hang Jiang, Yining Hua+2 more|arXiv (Cornell University)|Jan 18, 2022

Topic Modeling被引用 13

一句话总结

本文介绍了 Tweebank-NER，这是一个基于 Tweebank V2（一个高质量的 Twitter 通用依存句法库）构建的新英语命名实体识别（NER）语料库。该研究使用 Stanza 和 BERTweet 训练了当前最先进的 NLP 模型，在词性标注（POS tagging）和依存句法分析任务中取得了最先进性能，并发布了该数据集、模型以及一个即用型 Twitter NLP 处理流水线（Twitter-Stanza），以支持未来的研究工作。

ABSTRACT

Social media data such as Twitter messages ("tweets") pose a particular challenge to NLP systems because of their short, noisy, and colloquial nature. Tasks such as Named Entity Recognition (NER) and syntactic parsing require highly domain-matched training data for good performance. To date, there is no complete training corpus for both NER and syntactic analysis (e.g., part of speech tagging, dependency parsing) of tweets. While there are some publicly available annotated NLP datasets of tweets, they are only designed for individual tasks. In this study, we aim to create Tweebank-NER, an English NER corpus based on Tweebank V2 (TB2), train state-of-the-art (SOTA) Tweet NLP models on TB2, and release an NLP pipeline called Twitter-Stanza. We annotate named entities in TB2 using Amazon Mechanical Turk and measure the quality of our annotations. We train the Stanza pipeline on TB2 and compare with alternative NLP frameworks (e.g., FLAIR, spaCy) and transformer-based models. The Stanza tokenizer and lemmatizer achieve SOTA performance on TB2, while the Stanza NER tagger, part-of-speech (POS) tagger, and dependency parser achieve competitive performance against non-transformer models. The transformer-based models establish a strong baseline in Tweebank-NER and achieve the new SOTA performance in POS tagging and dependency parsing on TB2. We release the dataset and make both the Stanza pipeline and BERTweet-based models available "off-the-shelf" for use in future Tweet NLP research. Our source code, data, and pre-trained models are available at: \url{https://github.com/social-machines/TweebankNLP}.

研究动机与目标

• 为解决缺乏一个统一的、高质量的训练语料库，该语料库同时包含 Twitter 文本的命名实体识别与句法标注。
• 通过构建领域匹配的数据集并训练专用模型，提升在嘈杂、非正式社交媒体文本上的 NLP 性能。
• 开发并发布一个易于使用的即用型 NLP 流水线（Twitter-Stanza），支持传统模型与基于 Transformer 的模型，用于 Twitter NLP 任务。
• 评估 Stanza、FLAIR、spaCy 和 BERTweet 在核心 Twitter NLP 任务（包括 NER、POS 标注和依存句法分析）上的性能表现。

提出的方法

• 使用 Amazon Mechanical Turk 对 Tweebank V2 中的命名实体进行标注，遵循通用依存句法（Universal Dependencies）指南以确保一致性。
• 通过标注者间一致性度量指标评估标注质量，确保新发布的 Tweebank-NER 语料库的可靠性。
• 在 Tweebank-NER 上微调 Stanza NLP 流水线，以实现分词、词形还原、POS 标注、依存句法分析和 NER 等功能。
• 对比训练基于 BERTweet 的模型与非 Transformer 模型，评估其在 Twitter 特定 NLP 任务中的性能提升。
• 通过 GitHub 开源发布 Tweebank-NER 语料库、预训练的 Stanza 模型以及基于 BERTweet 的模型，以实现开放获取与再利用。
• 使用标准指标（如 NER 的 F1 分数，POS 和句法分析的准确率）在多个 NLP 任务上评估模型性能。

实验结果

研究问题

• RQ1 Tweebank-NER 中命名实体标注的质量如何？通过标注者间一致性度量进行评估。
• RQ2 在非 Twitter 数据上训练的现有 NER 模型在 Tweebank-NER 语料库上的泛化能力如何？
• RQ3 S tanza 流水线与其它 NLP 框架（如 FLAIR、spaCy）在核心 Twitter NLP 任务上的表现相比如何？
• RQ4 基于 Transformer 的模型（如 BERTweet）在 Twitter NLP 任务上相较于非 Transformer 模型的性能提升有多大？

主要发现

• Tweebank-NER 语料库实现了较高的标注者间一致性，证实了人工标注的命名实体标签具有高度可靠性。
• S tanza 分词器和词形还原器在 Tweebank-NER 上达到了最先进性能，优于现有工具在 Twitter 特定文本上的表现。
• S tanza 的 NER 标注器、POS 标注器和依存句法分析器在与非 Transformer 模型对比中表现优异，展现出在嘈杂 Twitter 文本上的强大泛化能力。
• 基于 Transformer 的模型，尤其是 BERTweet，在 Tweebank-NER 上的词性标注和依存句法分析任务中建立了新的最先进性能，超越了非 Transformer 基线模型。
• 发布的 Twitter-Stanza 流水线和预训练模型可即用，可直接用于未来 Twitter NLP 研究。