[论文解读] CCG Parsing and Multiword Expressions

Miryam de Lhoneux|arXiv (Cornell University)|May 17, 2015

Natural Language Processing Techniques参考文献 32被引用 4

一句话总结

本文通过在CCGbank的训练和测试数据中将多词表达（MWEs）合并为单个标记，提出将多词表达（MWEs）整合到组合 categorial grammar（CCG）解析中。通过受控实验展示了训练和解析效果，表明具备MWE意识的模型显著优于基线模型，尤其是在解析前进行合并时效果更佳，并强调了MWE识别质量对解析结果的重要影响。

ABSTRACT

This thesis presents a study about the integration of information about Multiword Expressions (MWEs) into parsing with Combinatory Categorial Grammar (CCG). We build on previous work which has shown the benefit of adding information about MWEs to syntactic parsing by implementing a similar pipeline with CCG parsing. More specifically, we collapse MWEs to one token in training and test data in CCGbank, a corpus which contains sentences annotated with CCG derivations. Our collapsing algorithm however can only deal with MWEs when they form a constituent in the data which is one of the limitations of our approach. We study the effect of collapsing training and test data. A parsing effect can be obtained if collapsed data help the parser in its decisions and a training effect can be obtained if training on the collapsed data improves results. We also collapse the gold standard and show that our model significantly outperforms the baseline model on our gold standard, which indicates that there is a training effect. We show that the baseline model performs significantly better on our gold standard when the data are collapsed before parsing than when the data are collapsed after parsing which indicates that there is a parsing effect. We show that these results can lead to improved performance on the non-collapsed standard benchmark although we fail to show that it does so significantly. We conclude that despite the limited settings, there are noticeable improvements from using MWEs in parsing. We discuss ways in which the incorporation of MWEs into parsing can be improved and hypothesize that this will lead to more substantial results. We finally show that turning the MWE recognition part of the pipeline into an experimental part is a useful thing to do as we obtain different results with different recognizers.

研究动机与目标

• 探究在CCG解析中整合多词表达（MWEs）是否能提升句法解析准确率。
• 区分使用合并后的MWEs时的训练效果（模型学习能力的提升）与解析效果（推理过程中决策能力的改进）。
• 评估不同MWE识别系统对解析性能的影响，将识别系统作为实验变量。
• 开发并验证一种自动合并语料库数据中MWEs的方法，重点关注基于短语成分的MWEs。
• 评估MWE整合带来的改进是否能推广到标准的、未合并的基准测试集上。

提出的方法

• 通过在句法树中识别基于成分的MWEs，自动将CCGbank中的MWEs合并为单个标记。
• 构建一个处理流程，将MWEs在解析前或解析后进行合并，以分离训练效果与解析效果。
• 使用多种MWE识别器（如基于规则和统计的方法）作为实验组件，评估对识别质量的敏感性。
• 在合并后的训练数据上训练CCG解析器，并在合并后的和原始的黄金标准测试集上进行评估。
• 采用不同的评估方案：一种使用合并后的黄金标准，一种使用原始黄金标准，并比较不同合并时机下的结果。
• 将MWE识别作为模块化、可实验的组件，以探索其对解析结果的影响。

实验结果

研究问题

• RQ1 在训练数据中合并MWEs是否能产生可测量的训练效果，从而提升解析器的泛化能力？
• RQ2 在解析过程中（即推理阶段）合并MWEs是否能产生解析效果，从而提升决策能力？
• RQ3 整合MWE信息是否能显著提升标准基准测试集上的CCG解析准确率？
• RQ4 在处理流程中，MWE识别器的选择如何影响最终的解析性能？
• RQ5 MWE合并带来的改进在多大程度上能推广到原始的、未合并的基准测试集上？

主要发现

• 在合并后的黄金标准上，模型显著优于基线模型，表明使用合并数据带来了明显的训练效果。
• 基线模型在数据于解析前被合并时的表现显著优于解析后合并，表明合并输入有助于决策，存在解析效果。
• 当MWE信息被整合时，解析准确率实现小幅度但统计显著的提升，尤其在解析前进行合并时效果更明显。
• 不同MWE识别器导致不同的解析结果，证实MWE识别质量是影响处理流程成功的关键因素。
• 尽管在原始的、未合并的基准测试集上观察到性能提升，但其差异不具统计显著性，表明在当前设置下存在泛化局限性。
• 将MWE识别作为实验变量处理的方法揭示了有意义的性能差异，凸显了解析对MWE识别质量的敏感性。