[论文解读] Effective Inference for Generative Neural Parsing

Mitchell Stern, Daniel Fried+1 more|arXiv (Cornell University)|Jul 27, 2017

Natural Language Processing Techniques参考文献 9被引用 9

一句话总结

本文提出一种状态增强的束搜索方法，用于生成式神经成分解析，通过分离词汇动作与结构动作之间的竞争，实现无需重排序的有效解码。通过改进候选选择并应用粗粒度剪枝，该方法在宾州树库第23节上达到92.56的F1分数，超越了以往单一模型的生成式神经解析器最先进结果。

ABSTRACT

Generative neural models have recently achieved state-of-the-art results for constituency parsing. However, without a feasible search procedure, their use has so far been limited to reranking the output of external parsers in which decoding is more tractable. We describe an alternative to the conventional action-level beam search used for discriminative neural models that enables us to decode directly in these generative models. We then show that by improving our basic candidate selection strategy and using a coarse pruning function, we can improve accuracy while exploring significantly less of the search space. Applied to the model of Choe and Charniak (2016), our inference procedure obtains 92.56 F1 on section 23 of the Penn Treebank, surpassing prior state-of-the-art results for single-model systems.

研究动机与目标

• 解决标准动作级束搜索在生成式神经成分解析器中因词汇动作与结构动作之间不平衡而导致的失败问题。
• 通过重新定义假设之间的竞争机制，使同类型动作之间实现平等竞争，从而实现在生成式模型中直接解码。
• 通过改进候选选择和粗粒度剪枝，在不牺牲性能的前提下提升推理效率与准确性。
• 证明生成式神经解析器可作为独立系统实现最先进性能，而不仅作为重排序模块。

提出的方法

• 提出一种状态增强的束搜索方法，其中词汇动作（Shift）仅与其它Shift动作竞争，结构动作（Open/Close）仅与其它Open/Close动作竞争，从而减少不平衡性。
• 引入一种快速通道候选选择策略，通过优先选择高似然动作序列，在所有束大小下均提升性能。
• 基于上下文历史（order-c）设计粗粒度剪枝函数，减少需考虑的Open动作后继数量，提升效率。
• 利用训练数据统计信息预计算剪枝阈值，确保在剪枝条件下至少99%的训练数据可被重建。
• 在训练过程中基于开发集困惑度而非重排序性能实施早停，以选择最终模型。
• 实现一种束搜索机制，对词动作（k_w）和结构动作（k_s）分别设置不同的束大小，以同时优化模型似然与开发集F1分数。

实验结果

研究问题

• RQ1 生成式神经解析器是否能在不依赖外部重排序解析器的情况下实现最先进性能？
• RQ2 标准动作级束搜索为何在生成式神经解析中会失效？该失效问题如何被缓解？
• RQ3 能否通过剪枝策略在不降低准确率的前提下缩小搜索空间？
• RQ4 将词汇动作与结构动作的竞争关系分离，对解码效率与准确性有何影响？
• RQ5 改进的候选选择与剪枝策略在不同束大小下，能多大程度上提升性能？

主要发现

• 所提出的推理流程在宾州树库第23节上达到92.56的F1分数，超越了以往单一模型的生成式神经解析最先进结果。
• 在剪枝条件下，当69.2%的Open动作后继被剪除时，模型仍保持92.53的F1分数，表明在激进剪枝下性能下降极小。
• 该方法优于原始Choe和Charniak（2016）的重排序系统（该系统达到92.6的F1分数），证明生成式模型可作为独立系统运行。
• 性能在剪枝比例低至8/26 ≈ 0.308时仍保持稳定，剪枝比例为7/26 ≈ 0.269时仅下降0.18 F1，比例为6/26 ≈ 0.231时下降0.40，表明存在明确的性能阈值。
• 最佳配置采用束大小2000、词动作束大小200、每步20个快速通道候选，实现了最高模型似然与开发集F1分数。
• 该方法实现了生成式模型的直接解码，无需依赖外部解析器或重排序，确立了单一模型生成式解析的新SOTA。