[论文解读] A Hybrid Retrieval-Generation Neural Conversation Model

Yang Liu, Junjie Hu+7 more|arXiv (Cornell University)|Apr 19, 2019

Topic Modeling参考文献 53被引用 22

一句话总结

该论文提出了一种混合神经对话模型，通过整合检索式与生成式方法，结合检索响应的流畅性与多样性以及生成响应的泛化能力。通过使用远程监督训练一个排序模块，从两种来源中选择最优响应，该模型在Twitter和Foursquare数据集上的自动评估与人工评估指标下，均优于独立的检索方法与生成方法。

ABSTRACT

Intelligent personal assistant systems that are able to have multi-turn conversations with human users are becoming increasingly popular. Most previous research has been focused on using either retrieval-based or generation-based methods to develop such systems. Retrieval-based methods have the advantage of returning fluent and informative responses with great diversity. However, the performance of the methods is limited by the size of the response repository. On the other hand, generation-based methods can produce highly coherent responses on any topics. But the generated responses are often generic and not informative due to the lack of grounding knowledge. In this paper, we propose a hybrid neural conversation model that combines the merits of both response retrieval and generation methods. Experimental results on Twitter and Foursquare data show that the proposed model outperforms both retrieval-based methods and generation-based methods (including a recently proposed knowledge-grounded neural conversation model) under both automatic evaluation metrics and human evaluation. We hope that the findings in this study provide new insights on how to integrate text retrieval and text generation models for building conversation systems.

研究动机与目标

• 为解决检索式模型受语料库大小与覆盖范围限制的问题，以及生成式模型常产生通用或无信息量响应的问题。
• 在统一的神经框架中结合检索的优势（多样性、信息性、流畅性）与生成的优势（灵活性、对未见情境的泛化能力）。
• 开发一个可训练的排序模块，利用弱监督信号联合从检索与生成响应中选择最优结果。
• 在真实对话数据集上评估该混合模型，并证明其优于现有的仅检索或仅生成的基线模型。

提出的方法

• 该模型采用双路径架构：一条路径使用BM25或神经重排序从预构建语料库中检索候选响应，另一条路径通过序列到序列模型生成响应。
• 利用远程监督训练一个混合排序模块，根据其与上下文的相关性，将检索与生成的响应标记为正样本或负样本。
• 排序模块使用成对排序损失，以优化从检索与生成候选响应组合中选择最佳响应。
• 通过从真实响应与顶级候选响应中采样，每个上下文引入多个正样本，提升模型鲁棒性与泛化能力。
• 最终响应由排序模块选出，该模块在多样性、信息性与相关性之间实现平衡。
• 该模型在Twitter与Foursquare数据集上进行端到端微调，其中超参数如k′（正样本数量）通过验证集进行调优。

实验结果

研究问题

• RQ1 统一的神经模型能否有效结合检索式与生成式响应选择，以提升对话质量？
• RQ2 该混合模型在自动评估与人工评估指标下，相较于独立的检索与生成基线模型，性能如何？
• RQ3 远程监督在无需显式人工标注的情况下，能在多大程度上提升混合排序模块的训练效果？
• RQ4 与仅检索或仅生成的方法相比，该混合模型是否在具体性与泛化能力之间实现了更好的平衡？

主要发现

• 所提出的混合模型在Twitter与Foursquare数据集上的自动评估指标（如BLEU、ROUGE）与人工评估中，均优于检索式与生成式基线模型。
• 该模型在相关性、信息性与流畅性方面的人工评估得分最高，生成的响应既具体又符合上下文。
• 增加正样本数量（k′）可提升响应生成性能，但收益递减且存在引入噪声的风险，表明超参数调优存在权衡。
• 案例研究显示，检索提供具体细节，生成提供灵活表达，混合模型成功平衡了具体性与泛化能力。
• 远程监督方法无需人工标注即可有效训练排序模块，使该方法可扩展至大规模数据集。
• HNCM-RSF变体（生成响应）与HNCM-RS变体（检索响应）均生成高质量输出，证明了模型在利用两种响应类型方面的灵活性。