[论文解读] Beam Search with Bidirectional Strategies for Neural Response Generation

Pierre Colombo, Chouchang Yang+2 more|arXiv (Cornell University)|Oct 7, 2021

Topic Modeling参考文献 30被引用 11

一句话总结

本文提出双向束搜索策略——BidiS与BidiA，通过联合利用从左到右和从右到左的序列建模，提升神经响应生成性能。通过引入逆序解码和基于相似度的重排序，该方法在相比标准束搜索降低计算成本的同时，提升了BLEU-4得分与响应多样性。

ABSTRACT

Sequence-to-sequence neural networks have been widely used in language-based applications as they have flexible capabilities to learn various language models. However, when seeking for the optimal language response through trained neural networks, current existing approaches such as beam-search decoder strategies are still not able reaching to promising performances. Instead of developing various decoder strategies based on a "regular sentence order" neural network (a trained model by outputting sentences from left-to-right order), we leveraged "reverse" order as additional language model (a trained model by outputting sentences from right-to-left order) which can provide different perspectives for the path finding problems. In this paper, we propose bidirectional strategies in searching paths by combining two networks (left-to-right and right-to-left language models) making a bidirectional beam search possible. Besides, our solution allows us using any similarity measure in our sentence selection criterion. Our approaches demonstrate better performance compared to the unidirectional beam search strategy.

研究动机与目标

• 解决标准束搜索的局限性，如仅依赖似然得分以及在序列末端对输入依赖建模较弱的问题。
• 通过引入可捕捉从右到左依赖关系的逆序语言模型，提升响应质量和多样性。
• 开发新颖的重排序策略，利用灵活的相似度度量方法，结合前向与后向束搜索结果。
• 相比现有重排序方法降低计算开销，同时保持或提升性能。

提出的方法

• 训练两个独立的seq2seq模型：一个用于标准从左到右生成，另一个用于逆序从右到左生成。
• 利用逆序模型通过惩罚低似然结尾来重新评分候选序列，提升序列末端的输入相关性。
• 实现BidiS，一种结合前向与后向似然得分的重排序方法，引入可学习权重λ。
• 提出BidiA，通过最大化前向与后向束搜索输出之间的相似度（如BLEU或WMD）来选择最优候选。
• 应用长度归一化与束剪枝以保持效率，复杂度分析表明BidiA比VBS更高效。
• 采用共享编码器训练以减少参数量并提升训练稳定性，同时保持性能。

实验结果

研究问题

• RQ1 逆序序列建模是否能提升神经响应生成中生成响应的质量？
• RQ2 通过基于相似度的重排序结合前向与后向束搜索输出，是否能获得比单向束搜索更高的BLEU-4得分？
• RQ3 双向束搜索策略是否能在提升响应多样性的同时降低计算成本？
• RQ4 相似度度量的选择（如BLEU与WMD）如何影响重排序策略的性能？
• RQ5 双向束搜索是否能缓解生成序列末尾输入影响逐渐减弱的问题？

主要发现

• 在Cornell数据集上，BidiA相比基线VBS的BLEU-4得分最高提升8%，Switchboard数据集上也保持一致增益。
• BidiA在不同束大小下均保持稳定性能，且在B=20与B=40时未出现VBS的性能下降现象，表明其具有更好的鲁棒性。
• BidiA展现出更高多样性，distinct-n得分最高比VBS高出8%，尤其在n=2时表现更优。
• BidiA的复杂度低于VBS，计算成本为2T×O((B/2)V×log(BV/2))，因此更具效率。
• BidiS通过利用逆序模型重评分实现优于VBS的性能，且通过在验证数据上优化λ参数，提升了泛化能力。
• BidiA所选响应的索引分布更接近最高BLEU-4得分的候选，表明其与评估指标对齐更优。