[论文解读] Dynamic Dialogue Policy for Continual Reinforcement Learning

Christian Geishauser, Carel van Niekerk+5 more|arXiv (Cornell University)|Apr 12, 2022

Speech and dialogue systems被引用 9

一句话总结

本文提出了首个持续强化学习（RL）对话策略的框架，引入了动态对话策略变换器（DDPT），这是一种新颖的架构，能够在不增加参数量的情况下无缝整合新知识。DDPT利用描述嵌入和基于Transformer的设计，在未见过的领域上实现了出色的零样本性能，同时有效防止灾难性遗忘，在模拟和人类评估中均优于基线模型。

ABSTRACT

Continual learning is one of the key components of human learning and a necessary requirement of artificial intelligence. As dialogue can potentially span infinitely many topics and tasks, a task-oriented dialogue system must have the capability to continually learn, dynamically adapting to new challenges while preserving the knowledge it already acquired. Despite the importance, continual reinforcement learning of the dialogue policy has remained largely unaddressed. The lack of a framework with training protocols, baseline models and suitable metrics, has so far hindered research in this direction. In this work we fill precisely this gap, enabling research in dialogue policy optimisation to go from static to dynamic learning. We provide a continual learning algorithm, baseline architectures and metrics for assessing continual learning models. Moreover, we propose the dynamic dialogue policy transformer (DDPT), a novel dynamic architecture that can integrate new knowledge seamlessly, is capable of handling large state spaces and obtains significant zero-shot performance when being exposed to unseen domains, without any growth in network parameter size.

研究动机与目标

• 为解决对话策略优化中持续强化学习框架的缺失问题，这对人工智能系统实现终身、类人学习至关重要。
• 开发一种可扩展、参数高效的架构，能够在不遗忘先前知识的前提下整合新的对话领域。
• 提供一个全面的基准，包含训练协议、基线模型和评估指标，用于持续RL在对话系统中的应用。
• 通过模拟用户交互和真实人类实验验证模型性能，确保其实际适用性。

提出的方法

• 提出一种新的对话策略学习持续RL框架，包括基于正向迁移和遗忘率的训练协议、基线模型和评估指标。
• 引入动态对话策略变换器（DDPT），一种基于Transformer的架构，利用描述嵌入动态表示新领域。
• 采用领域门控机制将输入路由至相应子网络，实现选择性注意力，提升正向迁移能力。
• 利用预训练语言模型编码领域描述，实现仅通过描述嵌入即可对未见领域进行零样本泛化，无需扩展架构。
• 采用Rolnick等人（2018）的持续RL算法作为基线，确保与最先进持续学习方法的公平比较。
• 采用两种用户模拟器——TUS和基于规则的模拟器，并通过Amazon Mechanical Turk进行人类评估，以验证鲁棒性。

实验结果

研究问题

• RQ1 对话策略能否在不发生灾难性遗忘的前提下持续学习新领域，同时保持或提升对先前学习任务的性能？
• RQ2 仅通过描述嵌入，对话策略在零样本设置下对未见领域的泛化程度如何？
• RQ3 在不同领域顺序下，所提出的DDPT架构与标准基线在正向迁移、遗忘率和整体成功率方面的表现如何比较？
• RQ4 领域门控机制是否显著提升了动态对话学习中的正向迁移能力和鲁棒性？
• RQ5 所提出的框架是否能在真实世界交互场景中达到人类水平的性能？

主要发现

• 在从易到难的领域顺序下，DDPT的遗忘得分为0.01，正向迁移得分为0.73，显著优于Bin基线（0.14和0.39）。
• 在混合领域顺序下，DDPT的遗忘得分为0.03，正向迁移得分为0.57，表明其在复杂、非单调的任务序列中仍具备稳健性能。
• 若不使用领域门控，DDPT的正向迁移得分下降至0.43，表明门控机制对有效知识迁移和领域特定适应至关重要。
• 人类评估显示，DDPT与黄金标准在成功率（0.77 vs. 0.81）和感知质量方面无显著差异（p > 0.05），而Bin基线表现显著更差。
• 在从易到难的领域顺序下，DDPT实现了73%的正向迁移，表明其具备强大的反向迁移能力，学习新领域后能提升对早期领域任务的性能。
• 该模型在处理大规模、不断扩展的状态空间时，保持了固定的参数数量，证明了其可扩展性和参数效率。