[论文解读] Grammar as a Foreign Language

Oriol Vinyals, Łukasz Kaiser+4 more|arXiv (Cornell University)|Dec 23, 2014

Natural Language Processing Techniques参考文献 31被引用 402

一句话总结

该论文提出了一种与领域无关的、注意力增强的序列到序列LSTM模型，用于句法成分解析，将解析树视为线性化序列。通过在大规模由现有解析器生成的合成语料上进行训练，该模型在WSJ测试集上取得了92.5（单模型）和92.8（集成）的SOTA F1分数，优于标准解析器和BerkeleyParser，同时展现出高数据效率和高速度。

ABSTRACT

Syntactic constituency parsing is a fundamental problem in natural language processing and has been the subject of intensive research and engineering for decades. As a result, the most accurate parsers are domain specific, complex, and inefficient. In this paper we show that the domain agnostic attention-enhanced sequence-to-sequence model achieves state-of-the-art results on the most widely used syntactic constituency parsing dataset, when trained on a large synthetic corpus that was annotated using existing parsers. It also matches the performance of standard parsers when trained only on a small human-annotated dataset, which shows that this model is highly data-efficient, in contrast to sequence-to-sequence models without the attention mechanism. Our parser is also fast, processing over a hundred sentences per second with an unoptimized CPU implementation.

研究动机与目标

• 探究是否无需针对解析任务进行架构定制，通用的序列到序列模型结合注意力机制即可在句法成分解析中达到SOTA性能。
• 评估注意力增强的序列到序列模型相较于标准序列到序列模型在小型人工标注解析数据集上的数据效率。
• 评估由现有解析器生成的合成、自动标注数据集在训练高性能解析模型方面的实用性。
• 确定在由不完美标注的合成数据上训练的模型是否能够超越生成训练数据的解析器的性能。
• 开发一种快速、可扩展且与领域无关的解析系统，其性能可匹配或超过复杂、手工设计的领域特定解析器。

提出的方法

• 该模型使用深层长短期记忆（LSTM）网络对输入句子进行编码，并对线性化解析树进行解码，输入和输出序列采用共享参数化。
• 在解码过程中应用注意力机制，使模型能够在每个解码步骤动态关注相关编码器状态，从而改善长序列的对齐效果。
• 通过随机梯度下降进行训练，以最大化给定输入句子下正确线性化解析树的对数似然。
• 使用BerkeleyParser在大规模语料上生成合成训练数据，并通过两个解析器之间的一致性判断选择高置信度的解析树，以提升数据质量。
• 在小型人工标注数据集（如100万词）上进行微调，以评估数据效率和泛化能力。
• 推理过程采用自回归方式，逐个生成token，直到生成结束符为止。

实验结果

研究问题

• RQ1 无需为解析任务进行架构修改，通用的序列到序列模型结合注意力机制是否能在句法成分解析中实现SOTA性能？
• RQ2 注意力增强的序列到序列模型在小型人工标注解析数据集上的数据效率与标准序列到序列模型相比如何？
• RQ3 即使标签存在潜在噪声，由现有解析器生成的合成数据集是否仍能带来优于原始解析器的解析性能？
• RQ4 模型忽略教师生成标签中错误的能力是否有助于在测试集上提升性能？
• RQ5 在合成数据上训练的单一非集成模型是否能够超越广泛使用的领域特定解析器（如BerkeleyParser）的性能？

主要发现

• 在使用高置信度解析树的合成语料进行训练后，注意力增强的序列到序列模型在WSJ测试集（第23节）上取得了92.5的F1分数，创下新的SOTA记录。
• 通过集成，模型F1分数达到92.8，进一步超越了同一测试集上BerkeleyParser的90.4分。
• 在小型人工标注数据集（100万词）上，模型未使用集成时F1得分为88.3，使用集成后达到90.5，与BerkeleyParser的90.4分持平。
• 该模型在未优化的CPU实现下每秒可处理超过100个句子，展现出极高的推理速度。
• 尽管模型是在BerkeleyParser生成的数据上进行训练的，但其性能仍优于BerkeleyParser，表明学生模型有效学习到了忽略标注噪声的能力。
• 注意力机制显著提升了数据效率，使模型在标准序列到序列模型表现不佳的小型人工标注数据集上仍能取得优异性能。