[论文解读] DynaEval: Unifying Turn and Dialogue Level Evaluation

Chen Zhang, Yiming Chen+5 more|arXiv (Cornell University)|Jun 2, 2021

Topic Modeling参考文献 53被引用 7

一句话总结

DynaEval 提出了一种统一的自动评估框架，用于开放域对话系统，通过图卷积网络（GCNs）对整个对话进行建模，以捕捉话语级和说话人级的交互。通过将对话表示为图并应用对比学习，DynaEval 在话语轮次和对话整体层面均与人类判断表现出强相关性，在连贯性和一致性评估方面优于最先进模型，同时实现了整体对话层面的评估。

ABSTRACT

A dialogue is essentially a multi-turn interaction among interlocutors. Effective evaluation metrics should reflect the dynamics of such interaction. Existing automatic metrics are focused very much on the turn-level quality, while ignoring such dynamics. To this end, we propose DynaEval, a unified automatic evaluation framework which is not only capable of performing turn-level evaluation, but also holistically considers the quality of the entire dialogue. In DynaEval, the graph convolutional network (GCN) is adopted to model a dialogue in totality, where the graph nodes denote each individual utterance and the edges represent the dependency between pairs of utterances. A contrastive loss is then applied to distinguish well-formed dialogues from carefully constructed negative samples. Experiments show that DynaEval significantly outperforms the state-of-the-art dialogue coherence model, and correlates strongly with human judgements across multiple dialogue evaluation aspects at both turn and dialogue level.

研究动机与目标

• 解决现有自动指标仅关注话语轮次质量而忽略对话层面动态的局限性。
• 开发一种统一的评估框架，能够同时评估开放域对话中的话语轮次级和对话级质量。
• 通过结构化的图表示显式建模说话人与话语之间的交互，提升对话评估效果。
• 利用单一统一框架实现对连贯性、一致性、多样性及参与度等对话属性的全面评估。
• 通过捕捉多轮次间的长距离依赖和上下文动态，提供更可靠的交互式人类评估代理。

提出的方法

• 将对话表示为图，其中每个话语为一个节点，话语间依赖关系构成边。
• 使用图卷积网络（GCNs）编码整个对话结构，捕捉话语级和说话人级的交互。
• 应用对比损失以区分结构良好的对话与精心构造的负样本，增强模型学习有意义对话表征的能力。
• 采用弱监督设置端到端训练框架，正样本为真实对话轮次，负样本为扰动或互换版本。
• 将框架与预训练语言模型（如 DialoGPT）集成，以在图编码前丰富话语级表征。
• 在人类标注的对话评估数据集上微调模型，使预测结果在多个方面与人类判断对齐。

实验结果

研究问题

• RQ1 统一的评估框架能否有效评估开放域对话中的话语轮次级和对话级质量？
• RQ2 与自回归或话语轮次级模型相比，基于图的对话结构建模在捕捉交互动态方面表现如何？
• RQ3 DynaEval 在连贯性、一致性及参与度等多样化评估维度上与人类判断的相关性如何？
• RQ4 在评估对话级属性（如主题深度和多样性）方面，DynaEval 相较于最先进指标表现如何？
• RQ5 DynaEval 在流畅性和参与度评估方面存在哪些局限性，如何缓解？

主要发现

• DynaEval 在评估对话级连贯性和一致性方面显著优于最先进对话连贯性模型，展现出与人类判断更强的对齐性。
• 该框架在话语轮次和对话整体层面均与人类标注在连贯性、一致性和参与度等多个评估维度上表现出强相关性。
• 由于通过 GCNs 显式建模话语间依赖关系，DynaEval 在连贯性和一致性评估方面表现尤为出色，优于 FED 模型。
• 与在大规模语言建模目标上预训练的 GPT-2 和 FED 等指标相比，DynaEval 在流畅性和多样性评估方面表现较弱。
• 错误分析表明，DynaEval 依赖话语级表征而非词元级建模，限制了其在流畅性评估中的有效性，提示需要引入词元级扰动策略。
• 将 DynaEval 与专门的轮次级指标（如用于流畅性或参与度的指标）结合，可更全面地逼近交互式人类评估的综合性。