[论文解读] An Empirical Comparison of Parsing Methods for Stanford Dependencies

Lingpeng Kong, Noah A. Smith|arXiv (Cornell University)|Apr 16, 2014

Natural Language Processing Techniques参考文献 43被引用 26

一句话总结

本文通过实证比较了斯坦福句法依存（Stanford Typed Dependencies）的c-parsing（基于头规则的短语结构解析）与d-parsing（直接依存解析），发现现代d-parsers的准确率已与c-parsers极为接近，未标记F1差距仅为1.8%，标记F1差距仅为2.0%，同时速度最高可提升20倍。此外，研究还表明，布朗聚类特征可显著提升d-parsing性能，使其在三倍于最先进递归神经网络解析器的速度下达到同等甚至更优的准确率。

ABSTRACT

Stanford typed dependencies are a widely desired representation of natural language sentences, but parsing is one of the major computational bottlenecks in text analysis systems. In light of the evolving definition of the Stanford dependencies and developments in statistical dependency parsing algorithms, this paper revisits the question of Cer et al. (2010): what is the tradeoff between accuracy and speed in obtaining Stanford dependencies in particular? We also explore the effects of input representations on this tradeoff: part-of-speech tags, the novel use of an alternative dependency representation as input, and distributional representaions of words. We find that direct dependency parsing is a more viable solution than it was found to be in the past. An accompanying software release can be found at: http://www.ark.cs.cmu.edu/TBSD

研究动机与目标

• 重新评估自Cer等人（2010）以来依存解析技术进步背景下，斯坦福句法依存解析中准确率与速度之间的权衡。
• 评估词性标注质量对c-parsing与d-parsing性能差距的影响。
• 探究将Yamada-Matsumoto依存表示作为替代依存表示形式，是否能通过作为特征源提升斯坦福依存解析性能。
• 评估分布性词表示（布朗聚类）在增强直接依存解析性能方面的有效性。

提出的方法

• 在PTB第22–23节上，通过实证方法比较c-parsing（使用斯坦福CoreNLP管道结合短语结构解析器与头规则）与d-parsing（使用TurboParser并结合多种特征）的性能。
• 使用未标记依存准确率（UAS）与标记依存准确率（LAS）在Basic与CCprocessed斯坦福依存句法上衡量性能。
• 引入布朗聚类特征（4–6位与完整位字符串）作为词表示，以增强d-parsers的泛化能力。
• 采用堆叠框架，将Yamada-Matsumoto依存表示作为附加特征引入d-parsers。
• 训练并评估标准与全阶TurboParser模型，对比是否加入分布性特征，同时与斯坦福递归神经网络解析器进行比较。
• 通过在受控实验中使用标准词性标注（gold-standard POS tags），隔离词性标注错误对c-parsing与d-parsing性能差距的贡献。

实验结果

研究问题

• RQ1 当前斯坦福句法依存解析中，c-parsing与d-parsing的准确率-速度权衡如何？与Cer等人（2010）相比是否有所改善？
• RQ2 词性标注错误在c-parsing与d-parsing性能差距中占多大程度的贡献？
• RQ3 Yamada-Matsumoto依存表示能否作为有用特征源，在堆叠框架中提升斯坦福依存解析性能？
• RQ4 通过布朗聚类实现的分布性词表示能否提升d-parsing性能，使其达到或超越最先进c-parsers（如斯坦福递归神经网络解析器）的水平？

主要发现

• 在CCprocessed斯坦福依存句法上，c-parsing与d-parsing之间的性能差距已缩小至未标记F1差距1.8个百分点，标记F1差距2.0个百分点，远低于Cer等人（2010）报告的6.9%与8%。
• 采用弧因子化的d-parser在PTB §23上达到92.75%的LAS，与斯坦福CoreNLP管道性能相当，但速度提升20倍。
• 词性标注是导致性能差距的主要因素，因为使用标准词性标注后，性能差距显著缩小，表明词性标注质量是d-parsing中的关键瓶颈。
• 在堆叠框架中使用Yamada-Matsumoto依存表示作为特征，可提升d-parsing性能，表明以句法为中心的表示形式可增强斯坦福依存解析。
• 全阶TurboParser结合布朗聚类特征在PTB §23上达到92.96%的UAS与90.31%的LAS，性能与斯坦福递归神经网络解析器相当，但速度提升三倍。
• 全阶TurboParser结合布朗聚类在保持相近准确率的同时，速度优于斯坦福RNN模型，证明高效、特征增强的d-parsers在实际应用中具有可行性。