[论文解读] Mars: Modeling Context & State Representations with Contrastive Learning for End-to-End Task-Oriented Dialog

Haipeng Sun, Junwei Lucas Bao+2 more|arXiv (Cornell University)|Oct 17, 2022

Topic Modeling被引用 7

一句话总结

Mars 提出了一种对比学习框架，用于端到端任务导向对话系统，通过建模对话上下文与语义状态之间的相似性与差异性，提升了信念状态和动作状态的表示质量。通过采用成对感知和群体感知的对比学习，Mars 在 MultiWOZ 2.0、CamRest676 和 CrossWOZ 上实现了最先进性能，尤其在低资源设置下表现突出。

ABSTRACT

Traditional end-to-end task-oriented dialog systems first convert dialog context into belief state and action state before generating the system response. The system response performance is significantly affected by the quality of the belief state and action state. We first explore what dialog context representation is beneficial to improving the quality of the belief state and action state, which further enhances the generated response quality. To tackle our exploration, we propose Mars, an end-to-end task-oriented dialog system with two contrastive learning strategies to model the relationship between dialog context and belief/action state representations. Empirical results show dialog context representations, which are more different from semantic state representations, are more conducive to multi-turn task-oriented dialog. Moreover, our proposed Mars achieves state-of-the-art performance on the MultiWOZ 2.0, CamRest676, and CrossWOZ.

研究动机与目标

• 探究何种对话上下文表示能够提升端到端任务导向对话系统中信念状态与动作状态的质量。
• 解决多轮对话上下文中表示相似性与冗余性之间的权衡问题。
• 开发一种对比学习框架，同时建模上下文与语义状态之间的局部（成对）和全局（群体）关系。
• 通过更优的上下文到状态表示对齐，提升响应生成与对话状态追踪的性能。
• 在低资源场景下验证方法的有效性，并为实际部署提供可操作的见解。

提出的方法

• 引入成对感知的对比学习，以最小化连续空间中上下文与对应语义状态表示之间的距离。
• 采用群体感知的对比学习，最大化批量中上下文与所有语义状态之间的边际距离，以促进表示多样性。
• 使用双分支 Transformer 编码器联合编码对话上下文并生成信念/动作状态表示。
• 在多任务训练中引入对比学习目标，使上下文表示兼具语义一致性和独特性。
• 将对比学习应用于信念状态与动作状态预测，提升下游响应生成性能。
• 采用交叉熵损失进行响应生成，对比损失用于状态表示学习，实现端到端训练。

实验结果

研究问题

• RQ1 在多轮任务导向对话中，对话上下文与语义状态表示之间的差异性越大，是否能带来更好的性能？
• RQ2 对比学习能否有效提升端到端对话系统中信念状态与动作状态表示的质量？
• RQ3 Mars 在 MultiWOZ 2.0、CamRest676 和 CrossWOZ 等标准基准上的表现与现有最先进方法相比如何？
• RQ4 Mars 在低资源或零样本评估设置下的泛化能力如何？
• RQ5 表示相似性与差异性对对话状态追踪与响应生成的影响程度如何？

主要发现

• Mars 在 MultiWOZ 2.0、CamRest676 和 CrossWOZ 上实现了最先进性能，优于以往的端到端模型。
• 与语义状态表示差异更大的上下文表示能带来更好的多轮对话性能，验证了核心假设。
• 该模型在低资源场景下表现出强大的泛化能力，展现了在有限标注数据下的鲁棒性。
• 可视化与错误分析表明，Mars 学习到了更具区分性且语义对齐的上下文表示。
• 成对感知对比学习提升了局部对齐，群体感知对比学习增强了全局表示分离，二者共同促成了性能提升。
• 模型在自动评估中减少了可请求槽位的错误，尽管存在噪声标注，但在真实对话示例中仍保持可接受的性能。