[论文解读] Iterative Policy Learning in End-to-End Trainable Task-Oriented Neural Dialog Models

Bing Liu, Ian Lane|arXiv (Cornell University)|Sep 18, 2017

Speech and dialogue systems参考文献 22被引用 14

一句话总结

本文提出一种联合深度强化学习（RL）框架，通过端到端方式迭代优化任务导向对话智能体与神经用户模拟器，消除了对手动设计用户模拟器的需求。通过在模拟对话交互中联合训练两个智能体，该方法实现了64.7%的任务成功率，显著优于监督微调（35.3%）和单智能体RL基线模型。

ABSTRACT

In this paper, we present a deep reinforcement learning (RL) framework for iterative dialog policy optimization in end-to-end task-oriented dialog systems. Popular approaches in learning dialog policy with RL include letting a dialog agent to learn against a user simulator. Building a reliable user simulator, however, is not trivial, often as difficult as building a good dialog agent. We address this challenge by jointly optimizing the dialog agent and the user simulator with deep RL by simulating dialogs between the two agents. We first bootstrap a basic dialog agent and a basic user simulator by learning directly from dialog corpora with supervised training. We then improve them further by letting the two agents to conduct task-oriented dialogs and iteratively optimizing their policies with deep RL. Both the dialog agent and the user simulator are designed with neural network models that can be trained end-to-end. Our experiment results show that the proposed method leads to promising improvements on task success rate and total task reward comparing to supervised training and single-agent RL training baseline models.

研究动机与目标

• 解决基于强化学习的对话策略训练中用户模拟器不可靠或难以设计的挑战。
• 在监督学习基线之外，提升任务导向对话系统的鲁棒性与泛化能力。
• 通过深度强化学习实现对话智能体与用户模拟器的端到端训练，无需依赖基于规则或专家设计的模拟器。
• 证明联合策略优化相比仅训练智能体，能产生更高效、更有效的对话策略。

提出的方法

• 利用对话语料库上的监督学习，初始化对话智能体和用户模拟器。
• 通过模拟任务导向对话交互，联合使用深度强化学习训练两个智能体。
• 采用A2C和REINFORCE作为策略优化算法进行联合训练，并通过迭代更新周期减少非平稳性。
• 使用监督学习的权重初始化对话智能体的策略网络，用户模拟器的策略则通过随机初始化。
• 显式建模对话轮次中的对话状态跟踪，以提升鲁棒性与成功率。
• 通过概率分布采样用户模拟器策略网络的动作，以促进多样化且连贯的用户行为。

实验结果

研究问题

• RQ1 与单智能体强化学习或监督微调相比，对话智能体与用户模拟器之间的联合强化学习是否能提升任务成功率？
• RQ2 通过强化学习训练的数据驱动、端到端神经用户模拟器，在策略学习中是否优于基于规则或专家设计的模拟器？
• RQ3 迭代式联合训练如何影响对话效率（以平均轮次数衡量）与奖励累积？
• RQ4 强化学习算法的选择（如A2C与REINFORCE）对联合优化智能体性能有何影响？
• RQ5 联合训练是否能减少对训练数据的过拟合，并提升对未见对话场景的泛化能力？

主要发现

• 联合强化学习训练方法实现了64.7%的任务成功率，显著优于监督学习基线（35.3%）和单智能体RL模型（50.2–50.6%）。
• A2C-joint模型实现了最高任务成功率（64.7%）和更低的平均成功对话轮次（5.12轮），表明其策略学习更具效率。
• 联合训练模型降低了成功对话的平均对话轮次，表明策略效率与连贯性得到提升。
• REINFORCE-joint模型获得了最高平均奖励（3.30），表明在失败对话中表现更优，可能归因于更具探索性的行为。
• A2C-joint模型在奖励方面相比REINFORCE-joint略有下降，可能由于更尖锐的动作分布导致次优状态转移。
• 结果表明，联合优化两个智能体相比仅使用强化学习训练对话智能体，能实现更好的泛化能力与鲁棒性。