[论文解读] AgentGraph: Towards Universal Dialogue Management with Structured Deep Reinforcement Learning

Lu Chen, Zhi Chen+4 more|arXiv (Cornell University)|May 27, 2019

Speech and dialogue systems参考文献 51被引用 7

一句话总结

本文提出 AgentGraph，一种基于图神经网络（GNN）的结构化深度强化学习框架，用于通用对话管理。通过将对话领域建模为图结构，其中包含依赖槽位和不依赖槽位的代理，并通过局部通信实现，AgentGraph 实现了样本高效的训练以及跨领域的快速策略迁移，在 PyDial 基准测试中优于传统深度强化学习方法，并展现出对噪声和领域漂移的强大适应能力。

ABSTRACT

Dialogue policy plays an important role in task-oriented spoken dialogue systems. It determines how to respond to users. The recently proposed deep reinforcement learning (DRL) approaches have been used for policy optimization. However, these deep models are still challenging for two reasons: 1) Many DRL-based policies are not sample-efficient. 2) Most models don't have the capability of policy transfer between different domains. In this paper, we propose a universal framework, AgentGraph, to tackle these two problems. The proposed AgentGraph is the combination of GNN-based architecture and DRL-based algorithm. It can be regarded as one of the multi-agent reinforcement learning approaches. Each agent corresponds to a node in a graph, which is defined according to the dialogue domain ontology. When making a decision, each agent can communicate with its neighbors on the graph. Under AgentGraph framework, we further propose Dual GNN-based dialogue policy, which implicitly decomposes the decision in each turn into a high-level global decision and a low-level local decision. Experiments show that AgentGraph models significantly outperform traditional reinforcement learning approaches on most of the 18 tasks of the PyDial benchmark. Moreover, when transferred from the source task to a target task, these models not only have acceptable initial performance but also converge much faster on the target task.

研究动机与目标

• 解决现有基于深度强化学习（DRL）的对话策略在样本效率方面表现不佳以及缺乏可迁移性的问题。
• 实现在无需从头训练的情况下，快速适应新领域的新对话策略。
• 通过结构化、多智能体强化学习，提升复杂真实对话系统中的学习速度与性能。
• 探究图结构与智能体间通信在对话策略优化中的作用。
• 实现对多样化对话领域之间有效的零样本和少样本迁移学习。

提出的方法

• AgentGraph 将对话领域建模为有向图，其中节点代表对话槽位（S-节点）和领域级状态（I-节点），形成结构化、分层的策略架构。
• 每个节点作为子智能体运行，同类型节点共享参数，从而实现参数效率并加快学习速度。
• 智能体通过图上邻居之间的消息传递进行通信，实现在决策过程中的上下文感知与关系推理。
• 基于双 GNN 的策略通过分层 GNN 层，隐式地将每轮决策分解为高层全局动作与低层局部动作。
• 该框架通过使用源领域预训练参数初始化新领域策略，支持迁移学习，尤其利用了共享的 I-智能体与 S-智能体权重。
• 该方法将基于 DQN 的深度强化学习与 GNN 相结合，支持使用经验回放和目标网络的端到端训练。

实验结果

研究问题

• RQ1 与标准 DRL 相比，基于 GNN 的多智能体强化学习框架是否能在对话策略学习中提升样本效率？
• RQ2 AgentGraph 在将策略从源领域迁移到具有不同本体的目标领域时，效果如何？
• RQ3 图结构与智能体间通信是否能增强在噪声或环境变化条件下的策略性能与适应能力？
• RQ4 决策的分层分解（全局 vs. 局部）在复杂对话任务中对策略优化的提升程度如何？
• RQ5 AgentGraph 是否能在新对话领域冷启动场景下实现快速收敛和可接受的初始性能？

主要发现

• 在 PyDial 基准测试的 18 项任务中，AgentGraph 模型在 16 项上显著优于传统 DRL 基线，尤其在复杂任务中提升更明显。
• 当从源领域（SFR）迁移到目标领域（CR 和 LAP）时，预训练策略在两个目标领域上均实现了超过 75% 的初始成功率，展现出强大的零样本迁移能力。
• 在策略迁移后，模型在目标任务上的收敛时间少于 500 场对话，表明具备快速微调能力并显著降低了样本复杂度。
• 该框架对不同水平的 ASR 错误表现出鲁棒性，在 0%、15% 和 30% 的语义错误率下均保持稳定性能。
• S-智能体与 I-智能体之间的消息传递对性能的影响大于仅 S-智能体之间的通信，凸显了全局状态整合的重要性。
• 双 GNN 基于策略的表现优于标准 GNN 变体，证实了分层决策分解的优势。