[论文解读] Comparing a statistical and a rule-based tagger for German

Martin Volk, Gerold Schneider|ArXiv.org|Nov 11, 1998

Natural Language Processing Techniques参考文献 4被引用 14

一句话总结

本文使用相同的训练语料和测试语料以及词性标注集，对德语的统计标注器（TreeTagger）和基于规则的标注器（Brill-Tagger）进行了比较。两者均达到约5%的错误率，但统计标注器在未知词上的准确率比基于规则的标注器高出0.5–1%，尤其在处理未知词时表现更优；将两者顺序结合并未带来性能提升，且基于规则的标注器在处理罕见或未知形式时效果较差，尽管其歧义消解能力更优。

ABSTRACT

In this paper we present the results of comparing a statistical tagger for German based on decision trees and a rule-based Brill-Tagger for German. We used the same training corpus (and therefore the same tag-set) to train both taggers. We then applied the taggers to the same test corpus and compared their respective behavior and in particular their error rates. Both taggers perform similarly with an error rate of around 5%. From the detailed error analysis it can be seen that the rule-based tagger has more problems with unknown words than the statistical tagger. But the results are opposite for tokens that are many-ways ambiguous. If the unknown words are fed into the taggers with the help of an external lexicon (such as the Gertwol system) the error rate of the rule-based tagger drops to 4.7%, and the respective rate of the statistical taggers drops to around 3.7%. Combining the taggers by using the output of one tagger to help the other did not lead to any further improvement.

研究动机与目标

• 在相同条件下，严格比较统计标注器（TreeTagger）和基于规则的标注器（Brill-Tagger）在德语上的性能表现。
• 评估外部词典（如Gertwol）对两类标注器标注准确率的影响，特别是对未知词的提升效果。
• 研究是否通过顺序结合两个标注器（即利用一个的输出来增强另一个的词典或训练数据）可提升整体性能。
• 分析错误模式的差异，特别是针对未知词和多义词项的表现。
• 评估两类标注器在不同文本类型（如新闻和行政文本）中的鲁棒性。

提出的方法

• 在来自《Frankfurter Rundschau》的同一70,000词语料上训练两个标注器，使用STTS词性标注集，并对其中一项小修改以区分数字序列和字母序列的数字。
• 采用7:1的划分方式，训练集为60,710个词，测试集为8,887个词，保持句子级结构不变。
• 应用Gertwol外部词典以提升对未知词的识别能力，特别是数字序列的数字和专有名词。
• 通过将一个标注器的输出用于丰富另一个的词典或训练数据，实现标注器的顺序结合，随后重新训练并重新评估。
• 通过将新闻文本训练的模型应用于新的行政文本语料（38,007个词，未知词率更高）来开展文本类型评估。
• 针对未知词和多义词项进行详细的错误分析，比较两个标注器的行为和错误模式。

实验结果

研究问题

• RQ1 当在相同的德语文本语料和词性标注集上进行训练和测试时，统计标注器（TreeTagger）与基于规则的标注器（Brill-Tagger）的错误率如何比较？
• RQ2 外部词典（Gertwol）在多大程度上提升了两类标注器的性能，特别是对未知词的处理？
• RQ3 通过顺序结合两个标注器（即利用一个的输出来指导另一个）是否能提升标注准确率？
• RQ4 两个标注器在处理未知词与多义词项方面有何差异？
• RQ5 当应用于未知词率更高的不同文本类型（如行政文本）时，两个标注器的鲁棒性如何？

主要发现

• 统计标注器（TreeTagger）在原始测试语料上的测试准确率为95.27%，而基于规则的标注器（Brill-Tagger）达到95.00%，表明统计方法在准确率上领先0.27%。
• 在引入Gertwol外部词典后，统计标注器的准确率提升至96.29%，而基于规则的标注器达到95.90%，统计标注器的性能提升幅度为0.39%。
• 基于规则的标注器在未知词上的表现劣于统计标注器，统计标注器在处理未登录词方面展现出更强的鲁棒性。
• 基于规则的标注器在多义词项上的表现优于统计标注器，但由于此类情况较少，其优势未能抵消统计标注器的整体领先优势。
• 对两个标注器进行顺序结合（无论是通过词典增强还是使用混合输出重新训练）均未带来性能提升，最佳结果（96.03%）仍低于统计标注器的峰值性能。
• 基于规则的标注器训练时间显著更长（数日），而统计标注器仅需数分钟，且其规则可手动修改，体现了可维护性方面的权衡。