[论文解读] Better Automatic Evaluation of Open-Domain Dialogue Systems with Contextualized Embeddings

Sarik Ghazarian, Johnny Tian-Zheng Wei+2 more|arXiv (Cornell University)|Apr 24, 2019

Topic Modeling参考文献 25被引用 15

一句话总结

该论文通过在RUBER度量框架中用上下文相关的BERT嵌入替换静态词嵌入，改进了开放域对话系统的自动评估。通过利用BERT的丰富上下文表示，并优化网络架构和损失函数，所提出的方法相较于原始RUBER实现了与人类判断更高的相关性，表明上下文嵌入显著提升了评估的准确性。

ABSTRACT

Despite advances in open-domain dialogue systems, automatic evaluation of such systems is still a challenging problem. Traditional reference-based metrics such as BLEU are ineffective because there could be many valid responses for a given context that share no common words with reference responses. A recent work proposed Referenced metric and Unreferenced metric Blended Evaluation Routine (RUBER) to combine a learning-based metric, which predicts relatedness between a generated response and a given query, with reference-based metric; it showed high correlation with human judgments. In this paper, we explore using contextualized word embeddings to compute more accurate relatedness scores, thus better evaluation metrics. Experiments show that our evaluation metrics outperform RUBER, which is trained on static embeddings.

研究动机与目标

• 解决基于参考文本的度量方法（如BLEU）因低n-gram重叠而在多样化、有效回复中失效的问题。
• 通过利用上下文相关的词嵌入，更好地捕捉上下文中的语义含义，从而改进开放域对话系统的自动评估。
• 通过用BERT嵌入替换静态word2vec嵌入，改进RUBER度量——特别是其无参考部分——的性能。
• 研究架构和训练目标的改变，以最大化上下文嵌入在响应相关性评分中的效用。
• 开发一种更可靠、可扩展且与人类判断高度相关的评估度量，减少对昂贵人工标注的依赖。

提出的方法

• 在RUBER的无参考度量中，用上下文相关的BERT嵌入替换静态word2vec嵌入，以改善词语在上下文中的语义表示。
• 在原始RUBER架构中，用简单的池化策略（如平均池化或最大池化）替换双向RNN，以从BERT嵌入中提取句子级表示。
• 将训练目标从排序损失替换为带有交叉熵损失的多层感知机（MLP），以支持端到端优化。
• 使用负样本训练模型，其中每个查询与一个正确响应和多个负样本响应配对，以学习判别性的相关性分数。
• 使用与RUBER相同的参考度量，通过池化后的BERT嵌入计算生成响应与参考响应之间的相似度。
• 在词嵌入（word2vec与BERT）、句子表示方法（Bi-RNN与池化）和损失函数（排序损失与交叉熵）三个因素上进行2×2×2因子实验，以分离性能提升的来源。

实验结果

研究问题

• RQ1 与静态嵌入相比，上下文嵌入（如BERT）是否能提升开放域对话系统自动评估度量的性能？
• RQ2 架构上的改变（如用池化层替换Bi-RNN）如何影响基于BERT的评估模型的有效性？
• RQ3 从排序损失切换到交叉熵损失函数是否能增强模型预测人类对响应相关性判断的能力？
• RQ4 BERT嵌入在多大程度上提升了自动度量与人类对响应质量判断之间的一致性？
• RQ5 改进后的度量是否能在不依赖人工标注响应质量标签的情况下保持优异性能？

主要发现

• 所提出的使用BERT嵌入和优化架构的方法，在预测人类对响应相关性的判断方面优于原始RUBER度量。
• 用BERT嵌入替换静态word2vec嵌入，显著提升了无参考度量与人类标注的相关性。
• 使用简单的池化策略替代Bi-RNN进行句子表示，可获得相当或更优的性能，同时降低模型复杂度。
• 在训练目标中从排序损失切换到交叉熵损失，增强了模型区分相关与不相关响应的能力。
• BERT嵌入与交叉熵损失的组合在所有实验配置中均实现了与人类判断最高的相关性。
• 结果表明，上下文嵌入提供了更丰富的语义表示，能更好地与人类对对话响应质量的评估对齐。