[论文解读] Improving Neural Parsing by Disentangling Model Combination and Reranking Effects

Daniel Fried, Mitchell Stern+1 more|arXiv (Cornell University)|Jul 10, 2017

Natural Language Processing Techniques参考文献 10被引用 8

一句话总结

本文提出一种方法，通过在生成式神经解析器中实现直接束搜索（beam search），将模型组合与重排序效应解耦。结果表明，使用生成式模型对基础解析器输出进行重排序所带来的性能提升，主要源于隐式的模型组合，而非更优的生成建模能力；通过显式组合基础模型与生成式模型的得分，可进一步提升性能，在宾州树库（gold data）上达到新的最先进F1分数94.25，在外部银标准数据上达到94.66。

ABSTRACT

Recent work has proposed several generative neural models for constituency parsing that achieve state-of-the-art results. Since direct search in these generative models is difficult, they have primarily been used to rescore candidate outputs from base parsers in which decoding is more straightforward. We first present an algorithm for direct search in these generative models. We then demonstrate that the rescoring results are at least partly due to implicit model combination rather than reranking effects. Finally, we show that explicit model combination can improve performance even further, resulting in new state-of-the-art numbers on the PTB of 94.25 F1 when training only on gold data and 94.66 F1 when using external data.

研究动机与目标

• 探究使用生成式神经模型对基础解析器输出进行重排序所带来的性能提升，究竟是源于更优的生成建模能力，还是隐式的模型组合效应。
• 开发一种束搜索算法，使生成式神经解析模型能够实现独立于基础解析器的直接推理。
• 分离并量化混合解析系统中重排序与模型组合的贡献。
• 通过显式组合多个模型的得分与候选解析，提升解析性能。
• 在宾州树库上，使用gold数据和外部silver标准训练数据，实现新的最先进结果。

提出的方法

• 提出一种动作同步束搜索算法，并扩展状态空间，以实现对生成式神经解析模型（如递归神经网络语法模型RG和LSTM语言模型LM）的直接解码。
• 采用与判别式解析器RD相同的动作空间（NT，Shift/Gen，Reduce），但调整约束条件，以确保在生成式模型的联合概率分布下仍能生成有效解析。
• 采用基于生成式模型概率的束搜索与剪枝策略，探索高概率解析，而无需依赖基础解析器的输出。
• 通过平均基础解析器（RD）与生成式模型（RG，LM）的得分，实现显式模型组合，以从候选列表中选择最佳解析。
• 通过候选增强技术，将直接搜索生成式模型所得的解析纳入基础解析器的候选列表中。
• 采用多模型集成与得分插值策略进一步提升性能，超参数在开发数据上进行调优。

实验结果

研究问题

• RQ1 生成式重排序带来的性能提升，其主要来源是重排序效应，还是与基础解析器的隐式模型组合？
• RQ2 在生成式神经解析模型中直接搜索是否能获得优于标准交叉评分设置（B → A）的性能？
• RQ3 显式组合基础解析器与生成式模型的得分，是否能超越标准重排序设置的性能？
• RQ4 生成式模型本身是否具备独立实现强性能的能力，还是依赖基础解析器进行有效解码？
• RQ5 显式模型组合与候选增强是否能带来宾州树库上的新最先进结果？

主要发现

• 在生成式模型中直接进行束搜索（A → A）的性能低于标准交叉评分设置（B → A），表明生成式模型倾向于选择一些高概率但实际损害解析准确率的解析。
• B → A设置带来的性能提升主要源于隐式模型组合，而非更优的生成建模能力，因为当生成式模型单独使用时，其输出并非最优。
• 显式组合基础解析器与生成式模型的得分（如RD + RG或RD + LM）可显著提升性能，优于仅使用生成式模型得分的结果。
• 将通过直接搜索生成式模型获得的解析加入候选列表，可进一步提升性能，证明了候选增强的有效性。
• 在仅使用gold数据的宾州树库上，通过组合多个模型的得分与候选解析，实现了94.25 F1的最佳结果，创下新的最先进水平。
• 在外部silver数据上，该方法达到94.66 F1，进一步超越了先前的最先进水平，并优于模型集成与标准重排序方法。