[论文解读] GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating Open-Domain Dialogue Systems

Lishan Huang, Zheng Ye+3 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 28被引用 6

一句话总结

GRADE 是一种新颖的自动对话连贯性度量方法，通过整合来自常识知识图谱的图结构化话题转换，提升响应评估效果。通过将基于 BERT 的话语表示与基于话题级对话图的图神经网络推理相结合（采用 k-跳邻居和注意力机制），GRADE 在与人类判断的相关性上显著优于当前最先进（SOTA）的度量方法。

ABSTRACT

Automatically evaluating dialogue coherence is a challenging but high-demand ability for developing high-quality open-domain dialogue systems. However, current evaluation metrics consider only surface features or utterance-level semantics, without explicitly considering the fine-grained topic transition dynamics of dialogue flows. Here, we first consider that the graph structure constituted with topics in a dialogue can accurately depict the underlying communication logic, which is a more natural way to produce persuasive metrics. Capitalized on the topic-level dialogue graph, we propose a new evaluation metric GRADE, which stands for Graph-enhanced Representations for Automatic Dialogue Evaluation. Specifically, GRADE incorporates both coarse-grained utterance-level contextualized representations and fine-grained topic-level graph representations to evaluate dialogue coherence. The graph representations are obtained by reasoning over topic-level dialogue graphs enhanced with the evidence from a commonsense graph, including k-hop neighboring representations and hop-attention weights. Experimental results show that our GRADE significantly outperforms other state-of-the-art metrics on measuring diverse dialogue models in terms of the Pearson and Spearman correlations with human judgements. Besides, we release a new large-scale human evaluation benchmark to facilitate future research on automatic metrics.

研究动机与目标

• 为解决现有自动度量方法在捕捉开放域对话中细粒度话题转换动态方面的局限性。
• 通过利用图结构建模话语级语义与话题级流动，改进对话连贯性评估。
• 通过在对话话题上引入结构化、知识增强的推理机制，开发一种更贴近人类判断的度量方法。
• 发布一个大规模人工标注的基准数据集，以支持未来自动对话评估度量的研究。

提出的方法

• 使用上下文和响应中的关键词构建话题级对话图，并与 ConceptNet 中的节点对齐。
• 通过 k-跳邻居（k=2）增强节点表示，并计算注意力权重以衡量边的重要性。
• 应用图神经网络（GNN）对对话图进行推理，生成细粒度的话题级表示。
• 通过拼接操作结合基于 BERT 的话语级上下文表示与图级表示。
• 采用负采样策略，在无监督设置下进行训练，同时考虑词汇与语义差异。
• 使用多层感知机（MLP）从拼接后的表示中计算最终的连贯性得分。

实验结果

研究问题

• RQ1 在话题转换上进行图结构化推理能否提升自动对话连贯性评估效果？
• RQ2 通过 k-跳邻居和注意力权重引入常识知识，对度量性能有何影响？
• RQ3 图增强型度量方法在与人类判断的相关性上是否优于现有的话语级或统计基线方法？
• RQ4 GRADE 在未见过的闲聊数据集上表现如何？
• RQ5 在有效连贯性评分中，图信息的最优量是多少（例如，跳数与邻居数量）？

主要发现

• GRADE 在多个基准测试中与人类判断的皮尔逊相关系数和斯皮尔曼等级相关系数均显著高于所有当前最先进度量方法。
• 与随机采样相比，负采样策略平均提升性能 6.6%，证明了其有效性。
• 若移除图分支或关键组件（如 k-跳邻居或注意力机制），性能明显下降，证实了这些组件的贡献。
• 使用 2-跳邻居表示并每跳保留 10 个节点时性能最佳，而过多的图信息反而导致性能下降。
• GRADE 在未见过的闲聊数据集上泛化能力良好，展现出强大的零样本迁移能力。
• 案例研究显示，GRADE 在典型场景下表现良好，但在响应缺乏显著话题或与当前话语语境不一致时表现不佳。