[论文解读] Constrained Decoding for Neural NLG from Compositional Representations in Task-Oriented Dialogue

Anusha Balakrishnan, Jinfeng Rao+3 more|arXiv (Cornell University)|Jun 17, 2019

Topic Modeling参考文献 44被引用 7

一句话总结

本文提出使用树状结构的意义表示来提升任务导向对话中神经文本生成的篇章级控制。通过引入一种约束解码算法，强制与组合性输入保持结构一致性，该方法在E2E和一个新的气象领域数据集上相比平面MR基线，显著提高了语义正确性，提升了数据效率，并增强了泛化能力。

ABSTRACT

Generating fluent natural language responses from structured semantic representations is a critical step in task-oriented conversational systems. Avenues like the E2E NLG Challenge have encouraged the development of neural approaches, particularly sequence-to-sequence (Seq2Seq) models for this problem. The semantic representations used, however, are often underspecified, which places a higher burden on the generation model for sentence planning, and also limits the extent to which generated responses can be controlled in a live system. In this paper, we (1) propose using tree-structured semantic representations, like those used in traditional rule-based NLG systems, for better discourse-level structuring and sentence-level planning; (2) introduce a challenging dataset using this representation for the weather domain; (3) introduce a constrained decoding approach for Seq2Seq models that leverages this representation to improve semantic correctness; and (4) demonstrate promising results on our dataset and the E2E dataset.

研究动机与目标

• 解决任务导向对话系统中神经文本生成缺乏篇章级控制的问题。
• 通过在输入意义表示中丰富话语关系，提高神经NLG的语义正确性并减少幻觉。
• 开发一种利用树状结构MR的约束解码方法，确保所有所需内容按正确结构顺序生成。
• 在E2E NLG基准和新发布的气象领域数据集上评估该方法，该数据集包含组合性MR。
• 展示生成响应在数据效率、泛化能力和多样性方面的改进。

提出的方法

• 本文提出使用树状结构的意义表示，以编码诸如对比（Contrast）、解释（Justify）和连接（Join）等话语关系，而非平面的槽值对。
• 提出一种约束解码算法，跟踪树节点的生成过程，并在束搜索中施加结构约束，以保持预期的话语结构。
• 采用修改后的束搜索，维护一组部分假设，每个假设跟踪树中已生成的节点及其顺序。
• 解码过程确保所有必需内容均被包含，并且结构约束（例如，对比性子句必须按特定顺序生成）得到遵守。
• 模型在序列到序列框架上进行训练，但在推理阶段仅利用树状结构输入和约束。
• 该方法在E2E NLG数据集和新发布的气象领域数据集上进行了评估，后者已标注话语关系。

实验结果

研究问题

• RQ1 树状结构的意义表示能否提升任务导向对话中神经文本生成的语义正确性和话语连贯性？
• RQ2 在树状结构输入上进行约束解码，能否在控制话语关系（如Contrast和Join）方面优于平面MR基线？
• RQ3 使用组合性MR是否能提升数据效率并增强对未见组合性示例的泛化能力？
• RQ4 该约束解码方法在多大程度上减少了生成响应中的语义错误和幻觉？
• RQ5 所提出的方法能否在不牺牲BLEU等自动指标得分的情况下提升多样性？

主要发现

• 在仅使用2,000个训练样本时，约束解码模型在E2E和气象数据集上的树结构准确率超过90%，使用5,000个样本时超过95%，显示出极高的数据效率。
• 在E2E数据集上，该方法在控制对比关系方面显著优于Reed等人方法，后者仅使用控制标记。
• 在仅使用5%组合性数据的情况下，使用E2E和气象数据联合训练的模型在组合性E2E测试示例上达到76%的树结构准确率，优于仅在E2E上训练的模型（准确率为53.72%）。
• S2S-Constr模型的BLEU得分更高，且多样性指标更优（如5.86的香农熵和1.71的条件熵），表明其表达能力更强。
• 该方法在不牺牲自动指标表现的前提下提升了语义正确性，与以往通过提升多样性而常导致BLEU得分下降的方法不同。
• 该方法实现了对组合性语义的更好泛化，表明从一个领域（气象）中学到的话语结构可有效迁移到另一个领域（E2E）。