[论文解读] Learning Symmetric Collaborative Dialogue Agents with Dynamic Knowledge Graph Embeddings

He He, Anusha Balakrishnan+2 more|arXiv (Cornell University)|Apr 24, 2017

Topic Modeling参考文献 32被引用 35

一句话总结

本文提出 DynoNet，一种神经对话模型，通过使用动态知识图嵌入来表示对称协作场景中开放式对话的状态，其中两名拥有私有知识的代理合作识别一个共享项目。该模型在任务成功率和人类自然度方面均优于神经网络和基于规则的基线模型，其有效性通过自动指标和新收集的 11K 个人类-人类对话数据集的人工评估得到验证。

ABSTRACT

We study a symmetric collaborative dialogue setting in which two agents, each with private knowledge, must strategically communicate to achieve a common goal. The open-ended dialogue state in this setting poses new challenges for existing dialogue systems. We collected a dataset of 11K human-human dialogues, which exhibits interesting lexical, semantic, and strategic elements. To model both structured knowledge and unstructured language, we propose a neural model with dynamic knowledge graph embeddings that evolve as the dialogue progresses. Automatic and human evaluations show that our model is both more effective at achieving the goal and more human-like than baseline neural and rule-based models.

研究动机与目标

• 为解决现有任务导向型和开放域对话系统存在的局限性，提出一种结合结构化知识与自然语言交互的对称协作对话设置。
• 收集大规模、多样化的个人类-人类对话数据集（11K 组对话），以捕捉协作对话中的词汇、语义和策略现象。
• 开发一种神经模型，将结构化知识图与上下文对话表征相结合，以支持灵活的目标导向沟通。
• 不仅通过自动指标，还通过第三方和伙伴式人工评估对模型进行评估，以衡量流畅性、正确性、合作性及人类自然度。

提出的方法

• DynoNet 将对话状态建模为动态知识图，其中节点代表实体（例如，朋友），边代表属性或关系。
• 通过图中消息传递机制更新实体嵌入，使上下文信息在处理新话语时得以传播。
• 在节点嵌入上应用注意力机制以生成下一句话语，使模型能够选择性关注知识图中相关的信息。
• 模型引入实体抽象机制，其中节点嵌入是上下文相关的而非固定的，从而提升表征灵活性。
• 该架构支持图的增量增长——随着对话推进，新节点和边被逐步添加，实现对动态演化的知识进行推理。
• 模型采用序列到序列的目标函数，使用交叉熵损失进行端到端训练，通过时间反向传播进行优化。

实验结果

研究问题

• RQ1 神经模型能否通过在协作场景中整合结构化知识与非结构化语言，有效表示开放式对话状态？
• RQ2 与静态或非结构化记忆机制相比，动态知识图嵌入在对话策略学习方面有何改进？
• RQ3 神经模型在多大程度上能复现人类策略，如会话暗示、模糊表达和战略性信息披露？
• RQ4 在协作场景中，自动指标与人工评估（包括伙伴评估）在评估对话系统质量方面有何异同？

主要发现

• DynoNet 在测试集上实现了 85.6% 的对话成功率，显著优于基线神经网络模型（72.1%）和基于规则的系统（78.3%）。
• 人工评估显示，DynoNet 在流畅性、正确性、合作性及人类自然度方面均优于基线模型，伙伴评估也证实其感知参与度更高。
• 消融实验表明，消息传递（K=2）和实体抽象均至关重要：移除消息传递使损失增加 0.10，移除抽象使损失增加 0.05。
• 该 11,000 组人类-人类对话的数据集展现出丰富的语言现象，如模糊表达、自我修正和会话暗示，这些对标准对话系统构成挑战。
• 第三方评估者基于非正式语言将 14.2% 的话语识别为“人类自然表达”，而 DynoNet 生成了 12.8% 的此类话语，表明其具有较强的自然度。
• 该模型在处理模糊或不完整信息（如“可能”或“大致相等”）方面表现出鲁棒性，而这些表达在固定槽位系统中难以编码。