[论文解读] Guided Dialog Policy Learning without Adversarial Learning in the Loop

Ziming Li, Sung‐Jin Lee+6 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 29被引用 13

一句话总结

该论文提出了一种两阶段的引导对话策略学习方法，将对抗性奖励训练与策略优化解耦，从而支持使用在线策略和离线策略强化学习。通过使用基于VAE的生成器预先训练判别器以区分人类生成和机器生成的对话，所得的奖励模型提升了任务成功率，并实现了向未见领域的迁移学习。

ABSTRACT

Reinforcement Learning (RL) methods have emerged as a popular choice for training an efficient and effective dialogue policy. However, these methods suffer from sparse and unstable reward signals returned by a user simulator only when a dialogue finishes. Besides, the reward signal is manually designed by human experts, which requires domain knowledge. Recently, a number of adversarial learning methods have been proposed to learn the reward function together with the dialogue policy. However, to alternatively update the dialogue policy and the reward model on the fly, we are limited to policy-gradient-based algorithms, such as REINFORCE and PPO. Moreover, the alternating training of a dialogue agent and the reward model can easily get stuck in local optima or result in mode collapse. To overcome the listed issues, we propose to decompose the adversarial training into two steps. First, we train the discriminator with an auxiliary dialogue generator and then incorporate a derived reward model into a common RL method to guide the dialogue policy learning. This approach is applicable to both on-policy and off-policy RL methods. Based on our extensive experimentation, we can conclude the proposed method: (1) achieves a remarkable task success rate using both on-policy and off-policy RL methods; and (2) has the potential to transfer knowledge from existing domains to a new domain.

研究动机与目标

• 解决基于强化学习的对话策略训练中的不稳定性和稀疏奖励问题。
• 克服循环中对抗性训练的局限性，后者限制了仅能使用策略梯度方法，并可能陷入局部最优或模式崩溃。
• 通过在现有对话领域上预训练奖励函数，实现在新未见领域中的迁移学习。
• 将奖励学习与策略优化解耦，以支持与在线策略和离线策略强化学习算法的集成。
• 开发一种可扩展、泛化能力强的奖励函数，以捕捉来自人类生成数据的高质量对话模式。

提出的方法

• 训练一个条件变分自编码器（VAE）作为辅助对话状态生成器，以生成逼真的对话状态。
• 使用判别器区分真实的人类生成对话与来自VAE的机器生成对话，通过对抗性损失进行优化。
• 通过反向传播将判别器损失传递至VAE，在离线、预训练阶段联合训练生成器与判别器。
• 将训练好的判别器冻结为预训练奖励模型，并将其集成到标准强化学习算法（如PPO、DQN）中用于策略学习。
• 通过使用独热编码表示领域、对话行为和槽位，重新设计动作表示，以提升语义相似性与可迁移性。
• 将预训练的奖励函数从源领域（如Restaurant、Bus、Attraction、Train）迁移至一个新未见领域（Hotel），实现零样本或少样本适应。

实验结果

研究问题

• RQ1 是否可以将对抗性奖励学习与策略训练解耦，以支持离线策略强化学习算法的使用？
• RQ2 在人类生成对话上预训练奖励函数是否相比手工设计的奖励能提升对话策略性能？
• RQ3 预训练的奖励模型是否能有效将知识迁移至新未见的对话领域？
• RQ4 与端到端对抗性训练方法（如GAIL、AIRL）相比，所提方法在样本效率和收敛稳定性方面表现如何？
• RQ5 所提动作表示在多领域间迁移学习与策略泛化方面，改善程度有多大？

主要发现

• 所提方法在使用PPO和DQN时均实现了约87%的任务成功率，与使用人工标注奖励进行微调的监督方法性能相当。
• 基于DQN的智能体从预训练奖励函数中获益更多，表明值函数方法对信号的利用更充分。
• 在将知识迁移至未见的Hotel领域时，使用预训练奖励函数训练的智能体（DQN_new）优于基线DQN(Human)。
• 在四个源领域（Restaurant、Bus、Attraction、Train）上使用GAN-VAE奖励函数预训练后，再在Hotel领域上进行迁移学习，性能显著优于从零开始训练。
• 预训练奖励函数实现了有效的零样本或少样本适应，表明其在具有不同槽类型和结构的领域间具备强大的泛化能力。
• 通过解耦奖励学习阶段，该方法成功避免了交替对抗训练带来的问题，如陷入局部最优或模式崩溃。