[论文解读] Automatically Annotated Turkish Corpus for Named Entity Recognition and Text Categorization using Large-Scale Gazetteers

H. Bahadir Sahin, Çağlar Tırkaz+3 more|arXiv (Cornell University)|Feb 8, 2017

Topic Modeling参考文献 25被引用 8

一句话总结

本文介绍了 TWNERTC 数据集，这是一个大规模、自动标注的土耳其语语料库，用于命名实体识别（NER）和文本分类（TC），通过基于 Freebase 的名录和降噪技术构建。该研究提出了六个版本的数据集，涵盖细粒度和粗粒度的实体类型，与人工标注的真实标签具有较高的一致性（最高达 59.5% 的 top-5 一致率），是目前公开可用的最大的土耳其语 NLP 研究资源。

ABSTRACT

Turkish Wikipedia Named-Entity Recognition and Text Categorization (TWNERTC) dataset is a collection of automatically categorized and annotated sentences obtained from Wikipedia. We constructed large-scale gazetteers by using a graph crawler algorithm to extract relevant entity and domain information from a semantic knowledge base, Freebase. The constructed gazetteers contains approximately 300K entities with thousands of fine-grained entity types under 77 different domains. Since automated processes are prone to ambiguity, we also introduce two new content specific noise reduction methodologies. Moreover, we map fine-grained entity types to the equivalent four coarse-grained types: person, loc, org, misc. Eventually, we construct six different dataset versions and evaluate the quality of annotations by comparing ground truths from human annotators. We make these datasets publicly available to support studies on Turkish named-entity recognition (NER) and text categorization (TC).

研究动机与目标

• 为解决土耳其语 NER 和 TC 任务中高质量标注数据集稀缺的问题，构建一个大规模、自动标注的语料库。
• 通过领域特定和领域无关的降噪方法，克服自动实体标注中的歧义性和噪声问题。
• 构建一个涵盖细粒度和粗粒度实体类型的综合性数据集，用于土耳其语 NLP 系统的基准测试。
• 通过对比自动标注结果与人工标注的真实标签，评估标注质量，确保其在下游研究中的可靠性。

提出的方法

• 使用图爬虫从 Freebase 提取实体和领域信息，构建大规模名录，共获得约 300K 个实体，覆盖 77 个领域和数千种细粒度类型。
• 将细粒度实体类型映射至四类粗粒度类别：person、loc、org 和 misc，支持多层级 NER 评估。
• 应用两种降噪方法——领域无关和领域相关——以解决实体类型映射中的歧义性，提升标注质量。
• 利用名录自动标注土耳其维基百科句子，基于降噪方法和实体类型粒度生成六个不同的数据集版本。
• 通过 F1 分数和 top-k 一致率指标，将自动标注结果与人工标注的真实标签进行对比，评估标注质量。
• 通过 DOI 将所有数据集版本公开发布，供土耳其语 NLP 研究使用，包括 NER 和 TC 任务的基准测试。

实验结果

研究问题

• RQ1 基于 Freebase 衍生的大规模名录进行自动实体标注，在土耳其语 NLP 任务中效果如何？
• RQ2 领域特定和领域无关的降噪方法在多大程度上提升了土耳其语 NER 和 TC 中的标注质量？
• RQ3 自动分配的细粒度实体类型和文本类别与人工标注的真实标签在土耳其语文本中的一致性如何？
• RQ4 在使用严格、宏平均和微平均 F1 分数评估时，自动 NER 和 TC 标注的性能表现如何？
• RQ5 包含多个候选类型（top-1 至 top-5）时，自动预测与人工标注者之间的一致性如何变化？

主要发现

• 在细粒度 NER 评估中，TWNERTC 数据集与人工标注者达到 59.5% 的 top-5 一致率，表明其与人工判断高度一致。
• 领域无关（DI）降噪方法使 F1 分数提升至 0.494（宽松宏平均）和 0.476（宽松微平均），优于领域相关（DD）方法。
• 在文本分类任务中，top-1 准确率为 46.4%，但在 top-3 时提升至 90.0%，top-5 时达到 97.5%，表明正确领域分配的可能性极高。
• 原始的 TWNERTC 数据集在严格 F1 分数上表现较差（0.274），但经过降噪处理的后处理版本显著提升了性能。
• 当考虑多个候选类型时，人工标注者与自动预测结果表现出高度一致性，验证了自动标注流程的可靠性。
• 本研究证实，结合知识库（如 Freebase）和降噪技术的自动标注方法，可为像土耳其语这样的低资源语言生成高质量、可扩展的数据集。