[论文解读] Chat More If You Like: Dynamic Cue Words Planning to Flow Longer Conversations

Lili Yao, Ruijian Xu+3 more|arXiv (Cornell University)|Nov 19, 2018

Speech and dialogue systems参考文献 28被引用 9

一句话总结

该论文提出 RLCw，一种基于强化学习的多轮对话系统，通过动态选择高影响力提示词来引导连贯、持久的对话。通过联合优化提示词选择与响应生成，并采用结合有效性与相关性的新型奖励机制，RLCw 在模拟对话长度、多样性以及人类评估得分方面显著优于强基线模型。

ABSTRACT

To build an open-domain multi-turn conversation system is one of the most interesting and challenging tasks in Artificial Intelligence. Many research efforts have been dedicated to building such dialogue systems, yet few shed light on modeling the conversation flow in an ongoing dialogue. Besides, it is common for people to talk about highly relevant aspects during a conversation. And the topics are coherent and drift naturally, which demonstrates the necessity of dialogue flow modeling. To this end, we present the multi-turn cue-words driven conversation system with reinforcement learning method (RLCw), which strives to select an adaptive cue word with the greatest future credit, and therefore improve the quality of generated responses. We introduce a new reward to measure the quality of cue words in terms of effectiveness and relevance. To further optimize the model for long-term conversations, a reinforcement approach is adopted in this paper. Experiments on real-life dataset demonstrate that our model consistently outperforms a set of competitive baselines in terms of simulated turns, diversity and human evaluation.

研究动机与目标

• 为解决开放域多轮对话系统中对话流畅性建模的不足。
• 通过动态选择可适应的提示词来引导对话方向，提升长期连贯性与参与度。
• 开发一个可训练的端到端框架，统一提示词预测与响应生成。
• 设计一种新颖的奖励函数，基于有效性与相关性来衡量提示词质量，以提升对话流畅性。
• 利用强化学习优化模型，以提升长期对话质量。

提出的方法

• RLCw 模型采用强化学习框架，基于对话历史与当前上下文在每一轮中选择提示词。
• 采用双奖励机制，从有效性（未来对话长度）与相关性（与上下文的语义对齐）两方面评估提示词。
• 提示词作为潜在引导，用于条件化响应生成，确保主题连续性与连贯性。
• 使用策略梯度方法端到端训练模型，以最大化累积未来奖励。
• 系统采用序列到序列架构，并通过注入提示词生成语境相关的响应。
• 消融实验验证了各奖励组件及整体框架的贡献。

实验结果

研究问题

• RQ1 动态提示词选择能否提升开放域多轮对话的长度与连贯性？
• RQ2 在强化学习奖励中结合有效性和相关性，如何提升对话质量？
• RQ3 提示词引导的响应生成在多样性与人类偏好方面，相比基线方法的优越程度如何？
• RQ4 提示词在进行中对话中如何影响主题漂移与语义连贯性？
• RQ5 该模型能否在不依赖静态或预定义关键词的情况下维持高质量对话流？

主要发现

• RLCw 在所有基线模型中实现了最长的模拟对话长度，表现出更优的参与度与对话流畅性。
• 该模型在会话内与会话间均展现出最高的不同三元语法比例，表明响应多样性更高。
• 人类评估显示，RLCw 在流畅性、一致性、相关性、信息量及整体偏好方面显著优于基线模型。
• 消融实验确认，有效性和相关性奖励均不可或缺，其中相关性在延长对话长度方面起关键作用。
• 提示词与生成响应之间的相关性高达 0.81，证实了强语义对齐性及其对响应内容的显著影响。
• 41% 的提示词出现在最终响应中，表明其对对话方向与内容生成具有显著影响。