[论文解读] Discovering Dialog Structure Graph for Open-Domain Dialog Generation

Jun Xu, Zeyang Lei+5 more|arXiv (Cornell University)|Dec 31, 2020

Topic Modeling参考文献 40被引用 6

一句话总结

本文提出 DVAE-GNN，一种结合图神经网络的离散变分自编码器，用于从开放域闲聊语料中自动发现分层的、可读的人类对话结构图。通过整合图神经网络进行会话级语义优化，以及引入短语耦合机制以实现可扩展的回合级语义建模，该模型成功构建了一个两层有向图结构，显著提升了下游生成任务中的多轮对话连贯性与参与度。

ABSTRACT

Learning interpretable dialog structure from human-human dialogs yields basic insights into the structure of conversation, and also provides background knowledge to facilitate dialog generation. In this paper, we conduct unsupervised discovery of dialog structure from chitchat corpora, and then leverage it to facilitate dialog generation in downstream systems. To this end, we present a Discrete Variational Auto-Encoder with Graph Neural Network (DVAE-GNN), to discover a unified human-readable dialog structure. The structure is a two-layer directed graph that contains session-level semantics in the upper-layer vertices, utterance-level semantics in the lower-layer vertices, and edges among these semantic vertices. In particular, we integrate GNN into DVAE to fine-tune utterance-level semantics for more effective recognition of session-level semantic vertex. Furthermore, to alleviate the difficulty of discovering a large number of utterance-level semantics, we design a coupling mechanism that binds each utterance-level semantic vertex with a distinct phrase to provide prior semantics. Experimental results on two benchmark corpora confirm that DVAE-GNN can discover meaningful dialog structure, and the use of dialog structure graph as background knowledge can facilitate a graph grounded conversational system to conduct coherent multi-turn dialog generation.

研究动机与目标

• 自动从开放域人类对话中发现无需人工标注的可解释性分层对话结构。
• 解决现有方法难以扩展至大规模回合级语义发现的挑战，以应对开放域对话中大规模语义建模的需求。
• 将会话级与回合级语义统一整合为一个可读的两层有向图结构，作为对话生成任务中的背景知识。
• 通过基于发现的对话结构来指导响应生成，从而提升多轮对话生成的连贯性与参与度。

提出的方法

• 提出一种结合图神经网络的离散变分自编码器（DVAE-GNN），联合将对话会话映射至会话级与回合级语义节点。
• 利用图神经网络通过跨回合信息聚合来优化回合级表示，从而提升会话级语义识别能力。
• 引入一种耦合机制，将每个回合级语义节点与语料中一个独立的短语绑定，降低学习复杂度，并支持超过一百万个语义节点的可扩展发现。
• 采用识别网络将对话会话映射至语义节点，同时利用重建网络从这些节点重新生成对话会话，以模仿变分自编码器的目标函数。
• 通过收集不同对话会话中映射语义节点的共现统计信息，构建统一的对话结构图。
• 将发现的图作为背景知识引入图结构对齐对话系统（GCS），以指导连贯的多轮响应生成。

实验结果

研究问题

• RQ1 无监督模型能否发现一种有意义的分层对话结构，以同时捕捉开放域对话中的会话级目标与回合级语义？
• RQ2 在变分自编码框架中，图神经网络在从回合级表示中提升会话级语义识别方面有何作用？
• RQ3 一种将语义节点与独立短语绑定的耦合机制，是否能够实现大规模回合级语义的可扩展发现？
• RQ4 所发现的对话结构图在多轮开放域对话生成中，对连贯性与参与度的提升程度如何？

主要发现

• DVAE-GNN 成功从开放域闲聊语料中发现了一个可读的两层有向对话结构图，其中包含会话级与回合级语义。
• 在 DVAE-GNN 中引入图神经网络显著提升了会话级语义识别能力，从而实现了更精确的结构发现。
• 耦合机制通过提供基于短语的先验语义，有效支持了超过一百万个回合级语义节点的发现。
• 图结构对齐对话系统（GCS）在多轮连贯性、参与度与信息量方面均优于所有基线模型，显著性检验的 p 值均小于 0.01。
• 消融实验表明，若移除会话级节点，连贯性与参与度显著下降，证明了分层结构的必要性。
• 人工评估显示中等程度的标注者间一致性（kappa > 0.4），验证了评估指标与研究发现的可靠性。