[论文解读] Meta Dialogue Policy Learning

Yumo Xu, Chenguang Zhu+2 more|arXiv (Cornell University)|Jun 3, 2020

Topic Modeling参考文献 20被引用 7

一句话总结

该论文提出 Meta-DTQN，一种具备双回放机制的元学习框架，通过共享对话行为和槽位等低级信号，实现在不同领域间少样本适应对话策略。在 MultiWOZ 2.0 上，其在成功率和对话效率方面均优于强基线模型，尤其在数据稀缺条件下表现更优。

ABSTRACT

Dialog policy determines the next-step actions for agents and hence is central to a dialogue system. However, when migrated to novel domains with little data, a policy model can fail to adapt due to insufficient interactions with the new environment. We propose Deep Transferable Q-Network (DTQN) to utilize shareable low-level signals between domains, such as dialogue acts and slots. We decompose the state and action representation space into feature subspaces corresponding to these low-level components to facilitate cross-domain knowledge transfer. Furthermore, we embed DTQN in a meta-learning framework and introduce Meta-DTQN with a dual-replay mechanism to enable effective off-policy training and adaptation. In experiments, our model outperforms baseline models in terms of both success rate and dialogue efficiency on the multi-domain dialogue dataset MultiWOZ 2.0.

研究动机与目标

• 为解决在新领域迁移时因标注数据有限而导致对话策略学习泛化能力差的挑战。
• 通过识别并利用对话行为和槽位等共享低级组件，实现在不同领域间的有效知识迁移。
• 通过引入双回放机制，确保一致的离策略训练，以克服元强化学习在强化学习设置中的不稳定性。
• 通过使用元学习与深度可迁移表征，提升少样本对话策略适应的样本效率。
• 提升在复杂复合领域任务中的性能，其中稀疏奖励会阻碍标准强化学习的收敛。

提出的方法

• 提出深度可迁移 Q 网络（DTQN），将状态和动作表征分解为领域、行为和槽位层级的共享子空间，以实现跨领域知识迁移。
• 使用分层嵌入建模对话状态，将领域特定特征分解为可重用组件，如跨领域的共享槽位嵌入。
• 引入双回放机制：一个回放缓冲区用于元训练，另一个用于任务评估，确保元适应过程中的一致离策略学习。
• 使用预填充有规则基轨迹的任务评估记忆，以稳定早期训练并减少奖励稀疏性。
• 通过对 MAML 框架进行适配，使元训练和元适应阶段的离策略策略对齐，避免在线策略过拟合。
• 采用多头注意力机制联合嵌入对话状态和动作，实现跨领域状态-动作依赖关系的联合优化。

实验结果

研究问题

• RQ1 能否利用对话行为和槽位等共享低级对话组件，提升任务导向对话中的跨领域策略迁移？
• RQ2 当标准元强化学习因奖励稀疏性和在线/离线策略不匹配而失效时，如何有效应用元学习于对话策略优化？
• RQ3 双回放机制是否通过确保一致的离策略经验回放，提升了元强化学习在对话策略学习中的稳定性和性能？
• RQ4 在少样本、多领域设置下，Meta-DTQN 相较于基线 DQN 和 DTQN 模型，在成功率和对话效率方面提升程度如何？
• RQ5 适应数据量的大小如何影响 Meta-DTQN 在未见目标领域上的性能？

主要发现

• Meta-DTQN 在单领域任务上显著优于 DQN-1k 和 DTQN-1k，在训练领域上成功率达到 4.8% 的绝对提升。
• 在复合领域任务上，Meta-DTQN 的成功率高于所有基线模型，证明其在复杂多意图对话场景中的有效性。
• 双回放机制显著提升性能：随着评估回放缓冲区大小增加，成功率持续上升，尤其在超过 5,000 个样本时更为明显。
• 仅使用 100 帧（训练数据的 1%）时，Meta-DTQN 相较于随机基线仍表现出显著性能优势，表明其具备强大的样本效率。
• 性能随适应数据量增加而单调提升，从 500 到 1,000 帧的跃迁带来显著增益，表明即使少量在线策略数据也能显著促进学习。
• 采用双回放的 Meta-DTQN 优于其单回放变体（Meta-DTQN-Sr），尤其在复合任务上，证实了一致离策略训练的优势。