[论文解读] Dialogue Response Ranking Training with Large-Scale Human Feedback Data

Xiang Gao, Yizhe Zhang+3 more|arXiv (Cornell University)|Sep 15, 2020

Topic Modeling参考文献 28被引用 6

一句话总结

本文提出 DialogRPT，一种基于 GPT-2 的响应排序模型，利用 Reddit 上 1.33 亿对人类反馈数据（点赞数、回复数和线程深度）进行训练，以预测更具参与度的对话响应。通过将任务建模为成对比较以减少混杂因素，该模型在众包评估中优于基于困惑度的基线模型和人类偏好标注，表明反馈信号与人类参与度的相关性优于传统指标。

ABSTRACT

Existing open-domain dialog models are generally trained to minimize the perplexity of target human responses. However, some human replies are more engaging than others, spawning more followup interactions. Current conversational models are increasingly capable of producing turns that are context-relevant, but in order to produce compelling agents, these models need to be able to predict and optimize for turns that are genuinely engaging. We leverage social media feedback data (number of replies and upvotes) to build a large-scale training dataset for feedback prediction. To alleviate possible distortion between the feedback and engagingness, we convert the ranking problem to a comparison of response pairs which involve few confounding factors. We trained DialogRPT, a set of GPT-2 based models on 133M pairs of human feedback data and the resulting ranker outperformed several baselines. Particularly, our ranker outperforms the conventional dialog perplexity baseline with a large margin on predicting Reddit feedback. We finally combine the feedback prediction models and a human-like scoring model to rank the machine-generated dialog responses. Crowd-sourced human evaluation shows that our ranking method correlates better with real human preferences than baseline models.

研究动机与目标

• 通过整合现实世界的人类反馈，提升对话响应排序性能，超越上下文相关性。
• 解决基于困惑度的训练方法无法捕捉响应吸引力的局限性。
• 利用社交媒体反馈（点赞、回复、深度）作为人类偏好的代理，构建大规模可扩展的数据集。
• 通过使用成对比较而非直接反馈回归，减少社会影响带来的偏差。
• 开发一个结合反馈预测与类人评分的集成模型，以更好地对齐人类偏好。

提出的方法

• 利用 Reddit 评论线程提取反馈信号：宽度（回复数）、深度（线程深度）和 updown（点赞数减去点踩数）。
• 从 Reddit 数据中构建 1.33 亿个响应对，每对比较两个针对相同上下文的响应。
• 使用对比学习训练基于 GPT-2 的模型，预测成对响应中哪个更具参与度，最小化成对比较中的排序损失。
• 通过加权集成反馈预测模型与类人评分模型（基于人类与机器生成响应数据训练）来生成最终的响应排序。
• 使用人类校准数据对集成模型进行微调，使模型输出与人类偏好标注对齐。
• 将最终模型应用于对机器生成响应进行排序，优先选择预测能引发更多参与度的响应。

实验结果

研究问题

• RQ1 大规模社交媒体反馈数据能否有效用于训练模型以预测对话响应中的真实人类参与度？
• RQ2 与直接反馈回归相比，对响应对进行成对比较是否能更有效地减少混杂因素？
• RQ3 基于反馈的排序与实际人类偏好相比，与基于困惑度的基线方法的相关性如何？
• RQ4 结合反馈预测与类人评分是否能提升响应排序性能，优于单一模型？
• RQ5 在人类评估中，引入反馈信号在多大程度上提升了生成对话响应的质量？

主要发现

• 反馈预测模型与人类整体偏好的皮尔逊相关系数达到 0.792，显著优于困惑度基线模型。
• Updown 指标（点赞数减去点踩数）与人类偏好的相关性最强（ρ = 0.518），其次为 Depth 和 Width。
• 结合类人评分的集成模型（π₀）性能优于仅依赖反馈的模型，表明二者具有互补优势。
• 模型拟合的系数显示，深度（w=0.48）和 updown（w=1.0）是强预测因子，而宽度（w=-0.50）表明过于宽泛的响应参与度较低。
• 即使在固定生成模型（DialoGPT）的前提下，DialogRPT 在人类评估中仍优于基于困惑度的方法。
• 人类评估证实，该模型的排序结果与真实人类偏好相关性优于所有测试的基线模型。