[论文解读] Composite Task-Completion Dialogue Policy Learning via Hierarchical Deep Reinforcement Learning

Baolin Peng, Xiujun Li+5 more|arXiv (Cornell University)|Apr 10, 2017

Speech and dialogue systems参考文献 34被引用 36

一句话总结

本文提出了一种用于复合任务完成对话系统的分层深度强化学习（HRL）框架，利用马尔可夫决策过程（MDPs）的选项机制来管理多个相互依赖的子任务（如航班和酒店预订）。通过将高层任务选择与底层动作执行分离，并引入内部评论者以提供内在奖励，该方法在稀疏奖励和复杂约束条件下，显著提升了成功率和用户体验，优于平坦式强化学习（RL）和基于规则的基线方法。

ABSTRACT

Building a dialogue agent to fulfill complex tasks, such as travel planning, is challenging because the agent has to learn to collectively complete multiple subtasks. For example, the agent needs to reserve a hotel and book a flight so that there leaves enough time for commute between arrival and hotel check-in. This paper addresses this challenge by formulating the task in the mathematical framework of options over Markov Decision Processes (MDPs), and proposing a hierarchical deep reinforcement learning approach to learning a dialogue manager that operates at different temporal scales. The dialogue manager consists of: (1) a top-level dialogue policy that selects among subtasks or options, (2) a low-level dialogue policy that selects primitive actions to complete the subtask given by the top-level policy, and (3) a global state tracker that helps ensure all cross-subtask constraints be satisfied. Experiments on a travel planning task with simulated and real users show that our approach leads to significant improvements over three baselines, two based on handcrafted rules and the other based on flat deep reinforcement learning.

研究动机与目标

• 解决在涉及多个相互依赖子任务且具有交叉约束要求的复杂复合任务中训练对话智能体的挑战。
• 通过引入具有内在奖励信号的分层结构，克服平坦式强化学习中的奖励稀疏性和长时序问题。
• 提升对话连贯性并减少子任务切换，从而改善任务完成对话中的用户体验。
• 开发一种可扩展、样本高效的对话策略学习方法，在模拟用户和真实用户上均优于平坦式RL和基于规则的基线方法。
• 在多样化的用户行为下，验证分层深度强化学习在真实世界旅行规划场景中的有效性。

提出的方法

• 采用马尔可夫决策过程（MDPs）的选项框架来形式化复合任务完成问题，实现在时间尺度上的分层决策。
• 设计两级对话管理器：高层策略选择子任务（选项），低层策略执行原始动作以完成每个子任务。
• 引入内部评论者（内在奖励模块），基于全局状态追踪器的输出评估子任务进展，提供密集且早期的反馈，以缓解奖励稀疏性问题。
• 使用全局状态追踪器维护并强制执行跨子任务的槽位约束（例如，抵达时间必须早于入住时间），确保子任务间的一致性。
• 采用深度强化学习训练分层策略，高层策略探索子任务序列，低层策略优化动作序列。
• 在基于DQN的两层策略训练中使用经验回放和目标网络，以提升训练稳定性和样本效率。

实验结果

研究问题

• RQ1 与平坦式RL相比，分层深度强化学习方法是否能在复合任务完成对话中提升样本效率和成功率？
• RQ2 内部评论者提供的内在奖励在稀疏奖励对话环境中如何影响探索行为与收敛性能？
• RQ3 与平坦式RL智能体相比，分层策略学习在多大程度上减少了子任务切换并提升了对话连贯性？
• RQ4 所提出方法在不同用户类型（具有不同子任务排序偏好）之间是否具备良好的泛化能力？
• RQ5 与模拟基准和基于规则的基线相比，分层智能体在真实人类用户上的表现是否更优？

主要发现

• 与平坦式RL智能体和基于规则的基线相比，分层RL（HRL）智能体在模拟用户上的成功率显著更高，尤其在需要子任务修订的复杂用户类型（B和C）中表现更优。
• 在所有用户类型中，HRL智能体均优于平坦式RL智能体，尤其在需要更多对话轮次和更高任务复杂度的C类用户中，成功率提升了20%。
• HRL智能体收敛速度更快，在更少的仿真样本下即可达到与平坦式RL智能体相当的性能水平，表明其具有更高的样本效率。
• 人工评估显示，与真实用户交互时，HRL智能体的用户评分显著更高（平均4.3 vs. 3.1），成功率也更高（82% vs. 58%）。
• HRL智能体生成的对话更具连贯性，子任务切换频率低于平坦式RL智能体，从而提升了用户体验并降低了任务失败率。
• 内在奖励模块有效引导了探索过程，减少了失败轨迹数量，使智能体能够更高效地学习满足复杂约束的策略。