[论文解读] Deep Reinforcement Learning for Multi-Domain Dialogue Systems

Heriberto Cuayáhuitl, Seunghak Yu+2 more|arXiv (Cornell University)|Nov 26, 2016

Speech and dialogue systems参考文献 23被引用 31

一句话总结

本文提出NDQN，一种多智能体深度强化学习框架，通过使用领域特定的DQN网络和输入特征压缩，提升了多领域对话系统在可扩展性方面的表现。实验表明，NDQN在不降低性能的前提下，训练速度比标准DQN快4倍以上，展示了在联合餐厅与酒店对话任务中更高的效率和可扩展性。

ABSTRACT

Standard deep reinforcement learning methods such as Deep Q-Networks (DQN) for multiple tasks (domains) face scalability problems. We propose a method for multi-domain dialogue policy learning---termed NDQN, and apply it to an information-seeking spoken dialogue system in the domains of restaurants and hotels. Experimental results comparing DQN (baseline) versus NDQN (proposed) using simulations report that our proposed method exhibits better scalability and is promising for optimising the behaviour of multi-domain dialogue systems.

研究动机与目标

• 解决标准深度Q网络（DQN）在具有大状态-动作空间的多领域对话系统中可扩展性受限的问题。
• 实现在无需人工设计对话状态特征的情况下，从原始、噪声较大的文本中端到端学习策略。
• 通过分而治之的方法，提升多领域语音对话系统中的训练效率和可扩展性。
• 评估输入压缩（去域化）在不牺牲策略性能的前提下，减少状态空间大小的有效性。
• 证明深度强化学习在真实世界环境中训练多领域对话智能体的可行性。

提出的方法

• 该方法采用DQN网络（NDQN），其中每个领域（如餐厅、酒店）均配备专用的DQN智能体，实现模块化和可扩展的策略学习。
• 通过去域化对输入特征进行压缩——将具体实体（如日期、地点）替换为占位符，以减小状态空间并提升泛化能力。
• 系统使用原始、噪声较大的文本作为输入特征，绕过传统的对话状态追踪和特征工程。
• 元智能体负责协调各领域专用智能体，管理领域之间的转换并处理跨领域请求。
• 该框架支持单轮动作和复合动作（子对话），实现分层策略执行。
• 训练通过基于任务成功和对话效率的稀疏奖励进行强化学习。

实验结果

研究问题

• RQ1 多智能体DQN框架（NDQN）在多领域对话系统中是否比标准DQN具有更优的可扩展性？
• RQ2 通过去域化实现的输入压缩是否能在不降低策略性能的前提下减少训练时间？
• RQ3 原始、噪声较大的文本能否作为输入特征被有效使用，从而消除对手动对话状态工程的需求？
• RQ4 在学习速度和任务成功率方面，NDQN架构与标准DQN相比表现如何？
• RQ5 通过领域专用智能体实现的模块化策略学习，在多大程度上提升了训练效率和可扩展性？

主要发现

• 当使用基于词的原始特征时，NDQN将平均训练时间从基线DQN的28.57小时减少至6.21小时，实现了4.6倍的加速。
• 在输入压缩条件下，训练时间进一步缩短至6.05小时，表明压缩技术可在不损失性能的前提下实现更快的学习。
• 使用去域化输入后，平均奖励和任务成功率均未下降，表明在状态空间复杂度降低的情况下仍具有鲁棒性。
• 学习曲线显示，NDQN在所有领域中平均奖励和任务成功率均持续提升，尤其在输入压缩条件下表现更优。
• 所提方法展现出卓越的可扩展性，具有更快的收敛速度和在多个领域（餐厅与酒店）中稳定的性能表现。
• 结果表明，NDQN是一种极具前景的框架，适用于在复杂真实世界环境中使用深度强化学习训练多领域对话智能体。