[论文解读] Bootstrapping a Tagged Corpus through Combination of Existing Heterogeneous Taggers

Jakub Zavrel, Walter Daelemans|ArXiv.org|Jul 13, 2000

Natural Language Processing Techniques参考文献 11被引用 24

一句话总结

本文提出 combi-bootstrap 方法，这是一种基于堆叠的模型，通过结合异构标注器与词法资源，仅使用极少的手动标注数据即可为新语料库自举高精度词性标注。通过将多种标注器（如 wotan、CELEX）的输出作为二级记忆学习器的特征，该方法在最佳单个标注器基础上实现了高达 44.7% 的错误率降低，显著优于在相同小规模标注样本上训练的单个或集成标注器。

ABSTRACT

This paper describes a new method, Combi-bootstrap, to exploit existing taggers and lexical resources for the annotation of corpora with new tagsets. Combi-bootstrap uses existing resources as features for a second level machine learning module, that is trained to make the mapping to the new tagset on a very small sample of annotated corpus material. Experiments show that Combi-bootstrap: i) can integrate a wide variety of existing resources, and ii) achieves much higher accuracy (up to 44.7 % error reduction) than both the best single tagger and an ensemble tagger constructed out of the same small training sample.

研究动机与目标

• 解决新语料库形态句法标注中的自举问题，且无预训练标注器可用。
• 减少对昂贵语言学知识工程的依赖，以实现标签集之间的映射。
• 仅使用少量人工标注数据和多样化的现有资源，实现快速开发高精度标注器。
• 探究结合异构标注器与词法特征是否能在新标签集上超越单个或集成标注器的表现。
• 评估堆叠在整合多样化、低层次表示（如词形、标签输出）方面的有效性，以提升标注准确率。

提出的方法

• 该方法采用堆叠集成学习方法，将多个异构标注器（TNT、MAX、RUL、MBT）以及词法特征（CELEX、Word）的输出作为二级分类器的输入特征。
• 二级学习器采用 IB1 算法实现，这是一种基于记忆的学习算法（TiMBL），根据训练集中最近邻样本对每个词进行分类。
• 二级学习器的训练数据由各组件标注器的 9 折交叉验证输出与小规模 CGN 语料库样本（5k–20k 个词）的手动标注标准标签组合而成。
• 特征输入包括每个组件标注器的预测标签、词形，以及来自 CELEX 的模糊词类信息。
• 系统在新语料库的小样本（5k–20k 个词）上进行训练，并在保留数据上进行测试，以衡量准确率与错误率降低情况。
• 未发现特征加权带来显著改进，表明在该数据规模下，k=1 的未加权重叠已足够。

实验结果

研究问题

• RQ1 通过堆叠结合异构标注器与词法资源，是否能显著提升在仅使用极少标注数据的新语料库上的标注准确率？
• RQ2 整合多样化标签集（如 wotan-1、wotan-2、wotan-lite）与词法特征（CELEX）是否能带来优于使用任一单个标注器或简单集成的性能？
• RQ3 该方法在未知词上的错误率降低程度如何，相较于已知词，这对词法覆盖能力有何启示？
• RQ4 性能提升是源于更好的错误纠正能力，还是源于对未知词预测能力的改善？
• RQ5 该方法是否可推广至其他 NLP 任务（如词义消歧或句法解析），尤其是在大规模训练数据稀缺的情况下？

主要发现

• 最佳的 combi-bootstrap 系统结合了所有信息源（CGN、wotan、CELEX、Word），在 20k 个词的测试集上达到 93.49% 的准确率，相较于最佳单个 CGN 标注器，错误率降低了 44.7%。
• 对于未知词，错误率在 5k 个词时降低达 50.9%，表明该方法显著提升了词法覆盖能力。
• 尽管 CELEX 和 Word 单独作为预测器表现较弱，但其在最终准确率中起到了积极贡献，尤其在未知词处理方面。
• 该方法优于在相同小样本上训练的最佳单个标注器以及相同组件标注器的集成，证明了堆叠在性能上优于传统集成方法。
• 当所有信息源均被整合时达到最佳结果，表明更多样化的特征可带来更好性能，但特征加权未带来显著增益。