[论文解读] Improving Open Language Models by Learning from Organic Interactions

Jing Xu, Da Young Ju+11 more|arXiv (Cornell University)|Jun 7, 2023

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本文介绍了 BlenderBot 3x，一种基于去标识化的真实用户互动和实际部署反馈训练的改进型开放域语言模型。通过利用奖励模型和 Crying Loss（Cringe Loss）学习有益及对抗性互动，该模型在真实用户数据上的响应质量达到 94.4%，安全性也得到提升，在参与度和毒性抵抗能力方面均优于 BlenderBot 3。

ABSTRACT

We present BlenderBot 3x, an update on the conversational model BlenderBot 3, which is now trained using organic conversation and feedback data from participating users of the system in order to improve both its skills and safety. We are publicly releasing the participating de-identified interaction data for use by the research community, in order to spur further progress. Training models with organic data is challenging because interactions with people "in the wild" include both high quality conversations and feedback, as well as adversarial and toxic behavior. We study techniques that enable learning from helpful teachers while avoiding learning from people who are trying to trick the model into unhelpful or toxic responses. BlenderBot 3x is both preferred in conversation to BlenderBot 3, and is shown to produce safer responses in challenging situations. While our current models are still far from perfect, we believe further improvement can be achieved by continued use of the techniques explored in this work.

研究动机与目标

• 通过使用真实世界、自然发生的用户互动和反馈，而非仅依赖精选或合成数据，改进对话式 AI 模型。
• 解决从混合质量数据中学习的挑战，包括对抗性和有害的用户行为，同时仍能提取对模型改进有用的信号。
• 通过数据驱动的微调，提升开放域语言模型的对话质量（如参与度、知识性）和安全性（如降低毒性）。
• 发布大规模、去标识化的实际用户互动数据集，以促进更广泛的对话式 AI 安全与高效研究。

提出的方法

• 使用由众包工作者标注的数据和用户提供的反馈（例如标记优质或劣质响应）训练的奖励模型对模型进行微调。
• 应用 Crying Loss（Cringe Loss）联合优化高质量响应输出与低概率生成有害、无意义或偏离主题输出的能力。
• 训练数据由超过 353,000 次去标识化的对话和 155,000 条用户反馈实例组成，数据来自 BlenderBot 3 的实际部署。
• 采用多阶段数据过滤与分析流程，识别并减轻来自对抗性或低质量互动的噪声。
• 通过人工标注评估模型性能，以衡量响应质量与安全性，并与原始的 BlenderBot 3 进行对比。
• 系统包含面向用户的安全保障措施，如可见的提示横幅、数据共享的退出选项，以及 FAQ 以告知用户风险及部署的研究性质。

实验结果

研究问题

• RQ1 能否有效利用自然发生的、真实世界的用户互动和反馈改进开放域语言模型，即使数据中包含对抗性和有害输入？
• RQ2 当模型在实际部署中同时面对有益和有害的用户行为时，如何训练其保持高响应质量与安全性？
• RQ3 哪些技术（如 Crying Loss 和奖励建模）能有效从真实用户数据中分离出有用反馈与噪声及对抗性信号？
• RQ4 与精选或合成数据相比，基于真实用户反馈微调的模型在安全性与参与度方面能提升到何种程度？
• RQ5 如何负责任地发布大规模、去标识化的互动数据，以支持对话式 AI 领域的开放研究？

主要发现

• BlenderBot 3x 在人工评估中获得 94.4% 的响应质量评分，显著优于 BlenderBot 3 的 85.3%。
• 在对抗性对话中，模型仅 2.4% 的时间生成不适当响应，与原始模型持平，表明其鲁棒性有所提升。
• 在标准对话中，模型能保持高质量响应 85% 的时间，而人类参与者为 75%，显示出强大的对话对齐能力。
• 结合奖励模型使用 Crying Loss 显著提升了响应质量与安全性，尤其在具有挑战性的交互场景中表现突出。
• 共收集并发布了超过 353,000 次对话和 155,000 条反馈实例的去标识化数据集，以支持未来研究。
• 尽管有所改进，模型在面对对抗性提示时仍会出现失败，凸显了在对齐与安全方面仍需持续研究。