[论文解读] A Generative Parser with a Discriminative Recognition Algorithm

Jianpeng Cheng, Adam Lopez+1 more|arXiv (Cornell University)|Aug 1, 2017

Natural Language Processing Techniques参考文献 22被引用 8

一句话总结

本文提出了一种统一框架，将生成式循环神经网络语法（RNNG）与判别式识别模型结合在编码器-解码器设置中，实现解析与语言建模的联合训练。该方法在英语宾州树库上实现了单模型语言建模的最先进性能，同时通过变分推断和期望最大化解释，保持了具有竞争力的短语结构解析结果。

ABSTRACT

Generative models defining joint distributions over parse trees and sentences are useful for parsing and language modeling, but impose restrictions on the scope of features and are often outperformed by discriminative models. We propose a framework for parsing and language modeling which marries a generative model with a discriminative recognition model in an encoder-decoder setting. We provide interpretations of the framework based on expectation maximization and variational inference, and show that it enables parsing and language modeling within a single implementation. On the English Penn Treen-bank, our framework obtains competitive performance on constituency parsing while matching the state-of-the-art single-model language modeling score.

研究动机与目标

• 为克服纯生成式模型在解析中施加的严格特征假设以及间接训练目标的局限性。
• 将判别式识别模型与生成式解析器结合，以提高解析准确率，同时保留生成建模能力。
• 在单一端到端可训练框架中统一语法归纳、解析与语言建模。
• 基于变分推断与期望最大化，提供一个合理的训练目标，支持无监督与弱监督学习。
• 通过单一模型架构，在短语结构解析中实现具有竞争力的性能，并在语言建模中达到最先进水平。

提出的方法

• 该框架使用生成式RNNG建模联合概率 $ p(x, a) $，其中 $ x $ 为句子，$ a $ 为构成解析树的转移动作序列。
• 引入判别式识别模型 $ q(a|x) $ 作为真实后验 $ p(a|x) $ 的变分近似，实现高效推理并提升解析准确率。
• 训练目标源自证据下界（ELBO），联合优化生成模型 $ p(x,a) $ 与判别式识别模型 $ q(a|x) $。
• 通过识别模型进行反向传播，实现基于梯度下降的端到端优化。
• 通过将监督信号整合到ELBO目标中，支持监督与无监督学习，遵循Kingma等人（2014）与Miao和Blunsom（2016）的方法。
• 通过生成模型直接为完整句子赋概率实现语言建模，而解析则通过判别式识别模型的后验推断完成。

实验结果

研究问题

• RQ1 与独立模型相比，结合生成式与判别式模型的统一框架是否能提升解析与语言建模性能？
• RQ2 如何利用变分推断与期望最大化来解释生成式与判别式组件在解析中的联合训练？
• RQ3 所提出的框架是否能在保持具有竞争力的解析准确率的同时，实现最先进语言建模性能？
• RQ4 判别式识别模型的集成是否能显著提升纯生成式RNNG的解析性能？
• RQ5 该框架是否能通过基于梯度的优化与后验正则化，支持无监督语法归纳？

主要发现

• 该框架在英语宾州树库上的语言建模困惑度达到99.8，与最先进单模型性能持平。
• 模型在短语结构解析中取得具有竞争力的结果，优于标准生成式RNNG，并在统一设置中达到判别式模型的性能水平。
• 判别式识别模型的集成显著提升了解析准确率，相较于纯生成式RNNG基线有明显改进。
• 该框架支持监督与无监督训练，通过后验正则化技术具备语法归纳潜力。
• 基于变分推断的目标有效实现了生成式与判别式组件的联合优化，为重要性采样提供了一种基于判别式提议的合理替代方案。
• 该方法在语言建模方面优于Dyer等人（2016），通过ELBO直接优化边缘似然，避免依赖次优提议的重要性采样。