[论文解读] Conversations Are Not Flat: Modeling the Dynamic Information Flow across Dialogue Utterances

Zekang Li, Jinchao Zhang+3 more|arXiv (Cornell University)|Jun 4, 2021

Topic Modeling参考文献 22被引用 5

一句话总结

本文提出 DialoFlow，一种新型对话模型，通过建模上下文转换中的语义影响，捕捉话语之间的动态信息流，在响应生成方面优于 DialoGPT，并引入了无需参考的自动评估指标 Flow score，该指标在 11 个聊天机器人上的聊天机器人层级相关性达到 0.9，与人类评分高度一致。

ABSTRACT

Nowadays, open-domain dialogue models can generate acceptable responses according to the historical context based on the large-scale pre-trained language models. However, they generally concatenate the dialogue history directly as the model input to predict the response, which we named as the flat pattern and ignores the dynamic information flow across dialogue utterances. In this work, we propose the DialoFlow model, in which we introduce a dynamic flow mechanism to model the context flow, and design three training objectives to capture the information dynamics across dialogue utterances by addressing the semantic influence brought about by each utterance in large-scale pre-training. Experiments on the multi-reference Reddit Dataset and DailyDialog Dataset demonstrate that our DialoFlow significantly outperforms the DialoGPT on the dialogue generation task. Besides, we propose the Flow score, an effective automatic metric for evaluating interactive human-bot conversation quality based on the pre-trained DialoFlow, which presents high chatbot-level correlation ($r=0.9$) with human ratings among 11 chatbots. Code and pre-trained models will be public. \footnote{\url{https://github.com/ictnlp/DialoFlow}}

研究动机与目标

• 为解决在建模对话历史时使用扁平拼接方法的局限性，该方法忽略了话语之间的动态信息流。
• 开发一种方法，以捕捉每个话语对不断演变的对话上下文的语义影响。
• 设计一种预训练框架，以建模上下文流动和语义影响，从而提升对话生成质量。
• 提出一种自动、无需参考的评估指标（Flow score），用于衡量互动式对话质量，并与人类判断保持高度相关性。

提出的方法

• 引入单向 Flow 模块，以建模对话中话语之间的动态上下文流动。
• 将语义影响定义为连续上下文表示之间的差异，捕捉每个话语如何改变整体对话上下文。
• 设计三种训练目标：(1) 上下文流动建模，用于学习流动模式；(2) 语义影响建模，用于预测影响；(3) 基于预测影响的响应生成。
• 在大规模 Reddit 评论数据上预训练 DialoFlow 模型，以学习丰富的对话动态。
• 使用预训练的 DialoFlow 计算 Flow score，这是一种基于困惑度的指标，用于衡量对话中语义影响的一致性。

实验结果

研究问题

• RQ1 如何在超越扁平拼接的基础上，建模话语之间的动态信息流？
• RQ2 建模语义影响是否能提升开放域对话系统中的响应生成质量？
• RQ3 基于动态上下文流动的自动、无需参考的评估指标是否能与人类判断保持强相关性？
• RQ4 所提出的 Flow score 在捕捉互动式对话质量方面，与现有自动评估指标相比表现如何？

主要发现

• DialoFlow 在 Reddit 多参考数据集和 DailyDialog 数据集上的对话生成任务中，显著优于 DialoGPT。
• 所提出的 Flow score 在 11 个聊天机器人上与人类评分的聊天机器人层级相关性达到 r = 0.9，表明其与人类判断高度一致。
• 即使在没有常见参考评论的人机对话场景下，Flow score 依然表现良好，优于 FED score。
• T-SNE 可视化结果证实，DialoFlow 能够捕捉话题转换和说话人特定的上下文流动，展示了其建模动态语义转换的能力。
• 该模型有效学习到上下文流动和语义影响的表示，通过动态上下文建模实现了更优的响应生成。