[论文解读] Bagging and Boosting a Treebank Parser

John C. Henderson, Eric Brill|ArXiv.org|Jun 5, 2000

Natural Language Processing Techniques参考文献 11被引用 37

一句话总结

该论文将袋装法（bagging）和提升法（boosting）——集成机器学习技术——应用于基于宾州树库（Penn Treebank）训练的统计依赖解析器，使测试数据的F1值提升了0.8，相当于将训练语料库规模扩大两倍的效果。提升法过程还揭示了树库中的标注不一致性，从而实现了一种半自动方法来识别这些不一致之处。

ABSTRACT

Bagging and boosting, two effective machine learning techniques, are applied to natural language parsing. Experiments using these techniques with a trainable statistical parser are described. The best resulting system provides roughly as large of a gain in F-measure as doubling the corpus size. Error analysis of the result of the boosting technique reveals some inconsistent annotations in the Penn Treebank, suggesting a semi-automatic method for finding inconsistent treebank annotations.

研究动机与目标

• 在不增加训练数据规模的前提下，利用集成方法提升解析准确率。
• 评估袋装法和提升法是否能够增强单一解析器归纳算法的性能。
• 探究提升法是否能够揭示宾州树库标注中的不一致性。
• 将集成方法带来的性能提升与增加语料库规模预期带来的收益进行对比。
• 开发一种半自动技术，用于检测树库数据中的标注不一致性。

提出的方法

• 袋装法通过有放回抽样生成k个训练语料的自助样本（bootstrap replicates），并在每个样本上独立训练一个解析器。
• 测试句的最终解析结果由集成中所有k个解析器的多数投票决定。
• 提升法通过迭代地根据预测误差重新加权训练实例，使后续轮次更关注难以解析的句子。
• 最终集成结合了提升序列中所有弱学习器的预测结果，其权重基于各自的误差率。
• 对提升法结果的错误分析揭示了跨句子的冲突标注模式，提示树库中存在不一致性。
• 从提升法过程中特征权重的分布和预测误差中，推导出一种半自动的不一致标注检测方法。

实验结果

研究问题

• RQ1 袋装法和提升法是否能在不增加额外训练数据的前提下，显著提升单一统计解析器的F1值？
• RQ2 集成方法带来的性能增益与将训练语料库规模扩大一倍的预期增益相比如何？
• RQ3 提升法过程是否能够揭示在单个解析中不明显但在整体语料中显现的宾州树库标注不一致性？
• RQ4 能否利用集成学习算法的输出，半自动地检测树库中的标注不一致性？
• RQ5 集成方法在提升整体F1值的同时，是否保持或提高了精确句子匹配的准确率？

主要发现

• 最佳袋装系统在测试集上实现了0.8的F1值增益，等效于将训练语料库规模扩大两倍所预期的性能提升。
• 袋装集成使测试集F1值从88.63提升至89.19，精确句子匹配准确率提高了1.4%（从34.9%提升至34.7%）。
• 提升法在测试集上使F1值提升了0.79，尽管其性能低于袋装法，但揭示了宾州树库中100个高权重的不一致树结构。
• 训练曲线表明，在10,000至40,000个句子之间将语料库规模扩大一倍，可带来约0.7的F1值增益，与袋装法的0.6增益非常接近。
• 提升法过程识别出一组100个具有冲突标注的树结构，其中解析器能够单独学习每种结构，但在整个语料库中无法保持一致。
• 该半自动不一致标注检测方法无需预先掌握标注规则，即可成功识别出具有冲突句法结构的问题句子对。