[论文解读] Incorporating Semi-supervised Features into Discontinuous Easy-First Constituent Parsing

Yannick Versley|arXiv (Cornell University)|Sep 12, 2014

Natural Language Processing Techniques参考文献 1被引用 10

一句话总结

该论文通过利用依存句法和词性标注映射的多语言适应，以及通过布朗聚类和二元依存语言模型从无标签数据中引入半监督特征，增强了EaFi解析器在非连续短语结构解析中的性能。该方法在德语和瑞典语上显著提升了解析准确率，使用标准词性标注时F1提升最高达+3.5%，使用预测词性标注时提升最高达+2.6%，证明了半监督学习在非连续短语结构解析中的有效性。

ABSTRACT

This paper describes adaptations for EaFi, a parser for easy-first parsing of discontinuous constituents, to adapt it to multiple languages as well as make use of the unlabeled data that was provided as part of the SPMRL shared task 2014.

研究动机与目标

• 通过依存句法和词性标注映射，实现EaFi解析器在多语言非连续短语结构解析中的适应。
• 利用SPMRL 2014共享任务中的无标签数据，通过半监督学习提升解析性能。
• 整合布朗词聚类和二元依存语言模型作为附加特征，以提高解析准确率。
• 在德语和瑞典语数据集上，分别在标准标注和预测标注预处理条件下评估这些增强方法的有效性。

提出的方法

• 通过从CoNLL依存树和短语结构树中推导出核心词表，利用依存句法核心词规则确定短语核心词。
• 采用通用词性标注映射（Petrov et al., 2012）对封闭类词性标注和标点符号进行分类；当不可用时，采用基于词元和类型计数的启发式规则。
• 通过不同粒度的布朗聚类（4位、6位、完整）表示词形及其分布特性，引入半监督特征。
• 将二元依存语言模型作为特征引入，包含三种变体：原始、L1正则化和L2正则化（LL），用于建模依存转移。
• 解析器采用在线学习方法，结合FOBOS正则化和AdaGrad更新，使用400MB权重向量以减少哈希冲突并改善特征表示。
• 通过早停策略进行训练，仅使用首个分类错误动作和最高分动作的特征进行参数更新。

实验结果

研究问题

• RQ1 是否可以通过依存句法和词性标注映射，在无需语言特定语料库标注的情况下，有效实现EaFi解析器的多语言适应？
• RQ2 从无标签数据中提取的布朗词聚类在非连续短语结构解析中能多大程度上提升性能？
• RQ3 二元依存语言模型作为半监督特征，在提升解析准确率方面有多有效？
• RQ4 结合多种半监督特征（聚类与语言模型）是否能产生协同增益，超越监督基线？

主要发现

• 完整长度的布朗聚类在德语上使F1提升+1.3%（标准标注）和+2.6%（预测标注），瑞典语也获得类似提升。
• 使用6位聚类前缀的性能接近完整聚类，而4位聚类性能显著更差，表明对聚类粒度敏感。
• 引入二元依存语言模型（LL变体）进一步提升性能，在德语上F1提升+1.7%，在瑞典语上提升+2.6%（标准标注）。
• 德语测试集的最佳整体结果为82.20 F1（UAS），使用完整聚类和LL二元模型，较监督基线提升1.54分。
• 在瑞典语测试集上，半监督模型达到82.49 F1（UAS），较监督基线提升1.33分，表明在低资源设置下具有强大泛化能力。
• 完整聚类与6位聚类前缀的组合在所有指标上均实现一致提升，尤其在NP和VP解析中提升最大。