[论文解读] Learning Conversational Systems that Interleave Task and Non-Task Content

Yu Zhou, Alan W. Black+1 more|arXiv (Cornell University)|Mar 1, 2017

Topic Modeling参考文献 20被引用 15

一句话总结

本文提出了一种基于强化学习的框架，通过在对话系统中交错安排任务导向内容与非任务（社交）内容，以提升任务成功率和用户参与度。通过训练策略实现内容类型之间的平滑过渡，该系统在真人用户参与的电影推广对话系统中，相较于纯任务导向系统，实现了更高的任务成功率和更优的用户评分。

ABSTRACT

Task-oriented dialog systems have been applied in various tasks, such as automated personal assistants, customer service providers and tutors. These systems work well when users have clear and explicit intentions that are well-aligned to the systems' capabilities. However, they fail if users intentions are not explicit. To address this shortcoming, we propose a framework to interleave non-task content (i.e. everyday social conversation) into task conversations. When the task content fails, the system can still keep the user engaged with the non-task content. We trained a policy using reinforcement learning algorithms to promote long-turn conversation coherence and consistency, so that the system can have smooth transitions between task and non-task content. To test the effectiveness of the proposed framework, we developed a movie promotion dialog system. Experiments with human users indicate that a system that interleaves social and task content achieves a better task success rate and is also rated as more engaging compared to a pure task-oriented system.

研究动机与目标

• 解决任务导向对话系统在处理用户意图不明确或隐含时的局限性。
• 通过自然交错任务内容与社交对话，提升用户参与度与任务成功率。
• 开发一个可泛化的框架，适用于客户服务、公共卫生和政治调查等场景。
• 使用强化学习训练对话策略，以优化混合内容对话中的长轮次连贯性与一致性。
• 通过真实世界的电影推广对话系统与人工评估验证该框架。

提出的方法

• 通过强化学习训练对话策略，根据对话上下文选择任务导向或非任务（社交）回复。
• 策略优化长期对话有效性，包括连贯性、深度与信息增益。
• 构建了一个电影推广系统作为测试平台，系统收集用户偏好以推荐影片。
• 系统采用混合回复生成方法，结合任务特定回复与社交互动内容。
• 使用模拟与真实人类互动数据训练强化学习智能体，并对关键指标（如回复连贯性与任务成功率）进行奖励塑造。
• 该框架具有通用性与可扩展性，开源代码与数据可供其他领域复用。

实验结果

研究问题

• RQ1 在任务导向对话系统中交错插入非任务（社交）内容，能否提升用户参与度与任务成功率？
• RQ2 如何训练对话策略，以确保任务与非任务内容之间实现平滑连贯的过渡？
• RQ3 在真实人类互动中，结合任务与社交对话的系统是否优于纯任务导向系统？
• RQ4 社交内容的引入在多大程度上提升了长轮次对话质量与信息获取能力？
• RQ5 该框架能否在公共健康、教育与政治调查等不同领域实现泛化？

主要发现

• Mix-Global系统通过交错任务与非任务内容，实现了76.7%的任务成功率，显著优于纯任务导向系统（Task-Global）的31.3%。
• 在真人用户参与下，Mix-Global系统实现了79%的对话深度与67.2%的信息增益，优于模拟系统与基线系统。
• 回复连贯性（App）在整合社交内容后提升最明显，表明更平滑的过渡显著增强了整体系统性能。
• 用户评价显示，该系统比纯任务导向系统更具参与感，尽管其底层任务相同。
• 收集的数据表明，男性与20岁用户更可能参与并表现出对超级英雄电影的兴趣，与行业趋势一致。
• 该框架可广泛应用于电影推广之外的场景，潜在用途涵盖政治调查、公共卫生教育与客户服务。