[论文解读] Measuring efficiency in high-accuracy, broad-coverage statistical parsing

Brian Roark, Eugene Charniak|ArXiv.org|Aug 24, 2000

Natural Language Processing Techniques参考文献 15被引用 10

一句话总结

本文提出「被考虑的事件数」——一种机器和实现无关的度量指标，用于衡量高精度、广覆盖统计解析器的效率，通过计算解析过程中对概率事件（如边、成分关系）进行评分的次数来实现。该指标使不同解析架构之间的公平比较成为可能，表明EC解析器在远少于BR解析器的事件数下即可达到近似最优的准确率，凸显其更优的搜索效率。

ABSTRACT

Very little attention has been paid to the comparison of efficiency between high accuracy statistical parsers. This paper proposes one machine-independent metric that is general enough to allow comparisons across very different parsing architectures. This metric, which we call ``events considered'', measures the number of ``events'', however they are defined for a particular parser, for which a probability must be calculated, in order to find the parse. It is applicable to single-pass or multi-stage parsers. We discuss the advantages of the metric, and demonstrate its usefulness by using it to compare two parsers which differ in several fundamental ways.

研究动机与目标

• 解决高精度统计解析中缺乏标准化、可比较的效率度量指标的问题。
• 提出一种通用的、与机器无关的度量指标，以捕捉计算工作量，而不依赖于执行时间或堆操作等实现特定因素。
• 实现对根本不同的解析架构（如单遍解析与多阶段解析）之间的公平比较。
• 评估效率差异是否与不同模型的准确率收敛模式相关。
• 支持将该度量指标与标准的PARSEVAL准确率指标结合使用，以实现对解析器的全面评估。

提出的方法

• 将「被考虑的事件数」定义为解析过程中计算其评分的所有概率事件（如边、成分-头关系）的总数。
• 将该度量应用于两种不同的解析器：BR解析器（使用束搜索并重复评估成分）和EC解析器（使用动态规划并单次评估边）。
• 使用一致的训练和测试语料库，以确保准确率和效率比较的有效性。
• 绘制解析错误率和准确率随被考虑事件数的变化曲线，以评估达到最优性能的效率。
• 比较达到峰值准确率所需的事件数，并观察时间上的成比例减少。
• 使用插值和条件概率模型估算事件评分，以确保不同模型间的一致性。

实验结果

研究问题

• RQ1 能否开发一种与机器无关的度量指标，以公平比较具有根本不同架构的高精度统计解析器的效率？
• RQ2 被考虑的事件数与不同解析策略达到峰值准确率的收敛过程之间有何相关性？
• RQ3 该度量指标在多大程度上反映了实际计算工作量，而独立于实现层面的优化？
• RQ4 在准确率相近但搜索策略不同的解析器中，通过被考虑的事件数测量，是否能揭示有意义的效率差异？
• RQ5 该度量指标能否可靠地与标准准确率指标（如PARSEVAL）结合使用，以实现对解析器的全面评估？

主要发现

• EC解析器在约100,000个事件被考虑时即可达到接近最大准确率，性能仅比最佳表现低0.1%。
• BR解析器需要显著更多的事件（超过100,000个）才能达到类似准确率水平，表明其收敛更慢。
• 尽管准确率收敛模式相似，EC解析器在更少的事件数下即达到峰值性能，证明其具有更优的搜索效率。
• 被考虑事件数的减少与解析时间成比例减少相关，验证了该度量指标对实际计算工作量的敏感性。
• 该度量指标成功区分了具有不同搜索与剪枝策略的解析器之间的效率差异，即使准确率相近亦然。
• 被考虑的事件数度量指标具有鲁棒性、与实现无关，且适用于与标准准确率指标结合用于解析器评估。