[论文解读] Stochastic Language Generation in Dialogue using Recurrent Neural Networks with Convolutional Sentence Reranking

Tsung-Hsien Wen, Milica Gašić+5 more|arXiv (Cornell University)|Aug 7, 2015

Topic Modeling参考文献 34被引用 78

一句话总结

该论文提出了一种基于神经网络的自然语言生成（NLG）系统，用于对话系统，通过联合使用循环神经网络（RNN）生成器、卷积神经网络（CNN）重排序器和反向RNN重排序器，生成流畅、多样且语义准确的语句。该模型仅在对话行为-语句对上进行训练，无需语义对齐或人工规则，其在自动指标和人工评估中均优于n-gram和基于规则的基线模型，在流畅性、槽位准确率和语言多样性方面表现更优。

ABSTRACT

The natural language generation (NLG) component of a spoken dialogue system (SDS) usually needs a substantial amount of handcrafting or a well-labeled dataset to be trained on. These limitations add significantly to development costs and make cross-domain, multi-lingual dialogue systems intractable. Moreover, human languages are context-aware. The most natural response should be directly learned from data rather than depending on predefined syntaxes or rules. This paper presents a statistical language generator based on a joint recurrent and convolutional neural network structure which can be trained on dialogue act-utterance pairs without any semantic alignments or predefined grammar trees. Objective metrics suggest that this new model outperforms previous methods under the same experimental conditions. Results of an evaluation by human judges indicate that it produces not only high quality but linguistically varied utterances which are preferred compared to n-gram and rule-based systems.

研究动机与目标

• 通过在对话行为-语句对上实现端到端训练，减少对话系统NLG中对大量手工制作和语义标注的依赖。
• 在不依赖基于规则的模板或句法树的情况下，提升对话系统中生成质量与语言多样性。
• 开发一种可扩展、数据驱动的NLG方法，在最小化特征工程的前提下实现跨领域和跨语言的泛化能力。
• 通过自动指标和人工偏好判断，评估模型相较于n-gram和基于规则基线模型的性能表现。

提出的方法

• 在去词汇化的对话语句上训练前向RNN语言模型，其中槽值被替换为符号占位符，并通过对话行为特征和门控机制控制槽的生成。
• 引入卷积神经网络（CNN）重排序器，以验证候选语句的语义一致性，尤其针对去词汇化未覆盖的OOV（未登录词）或罕见槽值对。
• 增加反向RNN重排序器，通过建模双向上下文提升流畅性，增强句子层面的连贯性。
• 系统采用两阶段解码流程：首先通过束搜索生成候选语句，然后使用RNN、CNN和反向RNN得分的加权组合进行重排序。
• 通过可微分的目标函数联合优化模型，结合流畅性、语义准确性和多样性，通过可学习的重排序函数实现。
• 后处理将去词汇化输出中的槽值恢复，从而生成自然流畅、领域特定的语句。

实验结果

研究问题

• RQ1 仅在对话行为-语句对上进行训练、无需语义对齐的神经NLG模型，是否能生成质量优于n-gram或基于规则系统的响应？
• RQ2 CNN重排序器在罕见或未见槽值组合上的语义一致性方面，其集成在多大程度上提升了性能？
• RQ3 与单向RNN相比，反向RNN重排序器在生成语句的流畅性和连贯性方面有何贡献？
• RQ4 训练数据规模对模型通过top-n采样生成多样且准确语句的能力有何影响？
• RQ5 所提出的架构是否能在保持高语义准确性和流畅性的前提下，实现更好的语言多样性，且在人工评估中表现更优？

主要发现

• 所提出的基于RNN的NLG模型在BLEU分数和槽错误率上均优于基于n-gram的基线模型，在包含罕见槽值的困难测试集上提升了1.5%。
• 人工评判员在自然性和语言多样性方面更偏好神经模型的输出，且在信息量和流畅性方面对RNN模型的偏好具有统计显著性。
• CNN重排序器显著提升了OOV和罕见槽值对的性能，在困难测试集上相比完整数据集实现了1.5%的BLEU提升（完整集为1%）。
• 反向RNN重排序器在所有n-best选择设置（n=1, 5, 10）下均持续提升流畅性，且在不同多样性权衡下表现稳定。
• 当选择1-best输出时，仅需2,000条训练语句即可达到近似最优性能；但通过top-5采样实现高语言多样性则需超过4,156条语句。
• 由于使用分布式词表示和端到端训练，该系统在零样本或少样本场景下对新领域具有强大的适应潜力。