[论文解读] Importance of a Search Strategy in Neural Dialogue Modelling

Ilya Kulikov, Alexander Miller+2 more|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 18被引用 42

一句话总结

本文研究了神经对话生成中搜索策略的影响，比较了贪婪搜索、束搜索、迭代束搜索以及带选择评分的迭代束搜索。结果表明，加入选择评分的迭代束搜索在人类评估和自动指标中显著优于贪婪搜索，凸显了搜索策略在响应质量中的关键作用。

ABSTRACT

Search strategies for generating a response from a neural dialogue model have received relatively little attention compared to improving network architectures and learning algorithms in recent years. In this paper, we consider a standard neural dialogue model based on recurrent networks with an attention mechanism, and focus on evaluating the impact of the search strategy. We compare four search strategies: greedy search, beam search, iterative beam search and iterative beam search followed by selection scoring. We evaluate these strategies using human evaluation of full conversations and compare them using automatic metrics including log-probabilities, scores and diversity metrics. We observe a significant gap between greedy search and the proposed iterative beam search augmented with selection scoring, demonstrating the importance of the search algorithm in neural dialogue generation.

研究动机与目标

• 评估搜索策略对神经对话模型响应质量的影响。
• 在人类评估和自动评估下，比较多种搜索策略——贪婪搜索、束搜索、迭代束搜索以及带选择评分的迭代束搜索。
• 确定搜索策略本身（独立于模型架构或训练过程）是否对对话生成性能有显著影响。

提出的方法

• 本研究采用带有注意力机制的标准循环神经网络作为基础对话模型。
• 系统评估了四种搜索策略：贪婪搜索、束搜索、迭代束搜索，以及带选择评分的迭代束搜索。
• 通过自动指标（对数概率、多样性分数）和对完整对话的人工评估来评估响应生成效果。
• 在最终策略中，选择评分步骤基于一个独立评分函数，对迭代束搜索的最佳候选进行优化。
• 人工评估评估了完整对话交互的流畅性、相关性和整体质量。
• 比较在多个对话数据集上进行，以确保研究结果的泛化能力。

实验结果

研究问题

• RQ1 不同搜索策略如何影响神经对话模型生成响应的质量？
• RQ2 带选择评分的迭代束搜索是否在人类评估中优于标准束搜索和贪婪搜索？
• RQ3 自动指标与人类对响应质量的判断之间相关程度如何？
• RQ4 仅通过搜索策略是否能够弥合贪婪搜索与更复杂生成方法之间的性能差距？

主要发现

• 带选择评分的迭代束搜索在人工评估中显著优于贪婪搜索，表明响应质量有显著提升。
• 所提出的搜索策略在保持高流畅性和相关性的同时，实现了更高的多样性分数，表明其在响应生成中具有更好的平衡性。
• 贪婪搜索与最佳性能搜索策略之间存在显著差距，凸显了搜索策略在模型架构之外的重要性。
• 对数概率和多样性分数等自动指标与人类判断具有相关性，验证了其在评估搜索策略时的有效性。
• 束搜索和迭代束搜索相较于贪婪搜索仅表现出中等程度的改进，但加入选择评分后带来了最一致的性能提升。
• 结果表明，搜索策略是神经对话生成中一个关键但常被忽视的组成部分。