[论文解读] Interacting with Non-Cooperative User: A New Paradigm for Proactive Dialogue Policy

Wenqiang Lei, Yao Zhang+6 more|arXiv (Cornell University)|Apr 7, 2022

Speech and dialogue systems被引用 9

一句话总结

本文提出 I-Pro，一种主动对话策略框架，可在互动性、非合作环境下动态平衡目标完成速度与用户满意度。通过基于对话轮次、目标难度、用户满意度及合作程度学习目标权重，I-Pro 在模拟非合作用户交互中采用深度 Q 学习，显著优于基线模型，在效果与可解释性方面表现更优。

ABSTRACT

Proactive dialogue system is able to lead the conversation to a goal topic and has advantaged potential in bargain, persuasion and negotiation. Current corpus-based learning manner limits its practical application in real-world scenarios. To this end, we contribute to advance the study of the proactive dialogue policy to a more natural and challenging setting, i.e., interacting dynamically with users. Further, we call attention to the non-cooperative user behavior -- the user talks about off-path topics when he/she is not satisfied with the previous topics introduced by the agent. We argue that the targets of reaching the goal topic quickly and maintaining a high user satisfaction are not always converge, because the topics close to the goal and the topics user preferred may not be the same. Towards this issue, we propose a new solution named I-Pro that can learn Proactive policy in the Interactive setting. Specifically, we learn the trade-off via a learned goal weight, which consists of four factors (dialogue turn, goal completion difficulty, user satisfaction estimation, and cooperative degree). The experimental results demonstrate I-Pro significantly outperforms baselines in terms of effectiveness and interpretability.

研究动机与目标

• 解决基于语料库学习在主动对话系统中的局限性，其无法有效建模现实世界中的动态交互。
• 识别并解决非合作用户行为——即用户在不满意度上升时引入偏离路径的话题——作为互动式主动对话中的关键挑战。
• 开发一种主动对话策略，实现实时互动对话中快速达成目标与持续保持用户满意度的双重优化。
• 引入可学习的目标权重机制，动态平衡相互竞争的目标：快速达成目标与维持高用户参与度。
• 通过基于模拟的训练框架与用户模拟器，实现可解释且具有策略性的对话策略学习。

提出的方法

• 采用深度 Q 学习训练对话策略，优化一个复合奖励函数，以平衡目标完成与用户满意度。
• 设计一种可学习的目标权重（gw），动态调节目标完成率（GCR）与用户满意度（US）之间的权衡，整合四个因素：对话轮次、目标完成难度、用户满意度估计值及合作程度。
• 构建用户模拟器，通过在用户满意度低于阈值时引入偏离路径的话题，模拟非合作行为。
• 使用知识图谱（KG）对主题转换进行建模，使智能体在策略学习过程中能够基于主题间的语义关系进行推理。
• 在模拟的互动环境中训练与评估智能体，使其能够根据用户偏离行为实时调整主题选择。
• 实施奖励塑形机制，惩罚过长的对话长度，奖励早期目标达成，同时奖励较高的用户满意度得分。

实验结果

研究问题

• RQ1 在存在非合作用户行为的情况下，主动对话策略如何有效平衡快速目标达成与持续用户满意度？
• RQ2 可学习的目标权重机制在不同对话阶段中，能在多大程度上动态调节目标完成与用户满意度之间的权衡？
• RQ3 与基于语料库的学习相比，交互式、基于模拟的训练是否能提升主动对话策略的鲁棒性与有效性？
• RQ4 用户合作程度与满意度估计的引入，对策略性能与可解释性有何影响？
• RQ5 非合作用户引入偏离路径话题的行为，对智能体高效达成目标主题的能力有何影响？

主要发现

• I-Pro 在多个评估指标下，显著优于三种强基线模型，在目标完成率与用户满意度方面均表现更优。
• 所学习的目标权重（gw）使 I-Pro 能够在参与度较低时自适应地优先考虑用户满意度（例如，gw₂ = 0.07），并在后期满意度较高时转向更快的目标完成（例如，gw₁₅ = 0.55）。
• I-Pro 实现了高于基线模型的平均用户满意度得分，表明其在面对动态且非合作的用户行为时，仍能实现更好的用户参与度。
• 该模型在处理非合作用户引入的偏离路径话题方面表现出更强的鲁棒性，能够成功快速重新导向目标路径，延迟极小。
• 使用具备非合作行为的用户模拟器，可实现更真实、更有效的策略训练，从而在互动环境中实现更好的泛化能力。
• 由于目标权重采用显式、基于因素的设计，I-Pro 展现出更优的可解释性，使研究者能够洞察每一轮对话中的策略决策依据。