[论文解读] A Study on Dialogue Reward Prediction for Open-Ended Conversational Agents

Heriberto Cuayáhuitl, Seonghan Ryu+2 more|arXiv (Cornell University)|Dec 2, 2018

Topic Modeling参考文献 17被引用 5

一句话总结

本文提出了一种神经对话奖励预测模型，利用长达25句话的对话历史，实现了预测结果与人工标注对话质量之间的强相关性（r=0.81）。通过在18,000条人类对话语料上采用噪声数据增强策略，该方法使用词嵌入的平均值训练回归模型，并表明更长的上下文窗口显著优于短历史的奖励预测性能。

ABSTRACT

The amount of dialogue history to include in a conversational agent is often underestimated and/or set in an empirical and thus possibly naive way. This suggests that principled investigations into optimal context windows are urgently needed given that the amount of dialogue history and corresponding representations can play an important role in the overall performance of a conversational system. This paper studies the amount of history required by conversational agents for reliably predicting dialogue rewards. The task of dialogue reward prediction is chosen for investigating the effects of varying amounts of dialogue history and their impact on system performance. Experimental results using a dataset of 18K human-human dialogues report that lengthy dialogue histories of at least 10 sentences are preferred (25 sentences being the best in our experiments) over short ones, and that lengthy histories are useful for training dialogue reward predictors with strong positive correlations between target dialogue rewards and predicted ones.

研究动机与目标

• 探究开放式对话代理中可靠对话奖励预测所需的最优对话历史长度。
• 开发一种实用的、自动标注的奖励函数，使其与人类对对话质量的判断具有强相关性。
• 评估不同对话历史长度对神经对话奖励预测器性能的影响。
• 提供实证证据表明，相较于先前工作中使用的短上下文，更长的对话历史可显著提升奖励预测性能。

提出的方法

• 作者通过将其他对话中的随机响应替换为人类回复，生成不同质量水平的对话，从而构建一个带有噪声的对话数据集。
• 每条对话均基于噪声程度（失真的句子）自动标注为数值奖励，数值越高表示回复越接近人类表达。
• 使用对话历史句子的词嵌入平均值训练神经回归器，输入序列长度可变（1至50句话）。
• 模型采用前馈神经网络，包含256维的隐藏层，ReLU激活函数，Dropout（0.2），Adam优化器，以及平均绝对误差（MAE）损失函数。
• 训练采用80%训练集与20%验证集的划分，早停策略在10个epoch后启用，每种历史长度进行10次随机运行以确保鲁棒性。
• 性能通过测试集上预测奖励与真实奖励之间的皮尔逊相关系数进行评估。

实验结果

研究问题

• RQ1 开放式对话代理中可靠对话奖励预测所需的最优对话历史长度是多少？
• RQ2 随着对话历史长度的增加，对话奖励模型的预测性能如何变化？
• RQ3 通过噪声增强并自动标注的数据集能否有效训练出与人类判断高度相关的对话奖励预测器？
• RQ4 与短历史相比，使用更长的对话历史是否能带来预测值与实际对话质量之间更强的相关性？

主要发现

• 25句话的对话历史在预测奖励与真实奖励之间实现了最高的皮尔逊相关系数（r=0.81），优于更短或更长的上下文。
• 历史中包含10句或以上句子的对话表现出强烈的正相关性（r≥0.72），表明更长的历史显著提升了预测性能。
• 短历史（1–3句话）导致相关性微弱（r=0.09–0.31），表明上下文不足难以实现准确的奖励估计。
• 50句话的历史相关系数略低（r=0.79），低于25句话的历史，表明在极长上下文下可能出现收益递减或过拟合现象。
• 在自动标注的噪声对话数据上训练的模型表现出优异性能，验证了使用合成标签进行奖励预测的可行性。
• 研究结果与先前仅使用2–3句话历史的工作相矛盾，表明更长的上下文窗口对于高质量奖励预测至关重要。