[论文解读] Improving alignment of dialogue agents via targeted human judgements

Amelia Glaese, Nat McAleese+32 more|arXiv (Cornell University)|Sep 28, 2022

Topic Modeling被引用 131

一句话总结

Sparrow 是一个信息检索型对话代理，通过有针对性的人类判断和行内证据进行训练，相较基线在偏好度更高、规则违规率更低，并且在78%的时间内为事实主张提供证据。

ABSTRACT

We present Sparrow, an information-seeking dialogue agent trained to be more helpful, correct, and harmless compared to prompted language model baselines. We use reinforcement learning from human feedback to train our models with two new additions to help human raters judge agent behaviour. First, to make our agent more helpful and harmless, we break down the requirements for good dialogue into natural language rules the agent should follow, and ask raters about each rule separately. We demonstrate that this breakdown enables us to collect more targeted human judgements of agent behaviour and allows for more efficient rule-conditional reward models. Second, our agent provides evidence from sources supporting factual claims when collecting preference judgements over model statements. For factual questions, evidence provided by Sparrow supports the sampled response 78% of the time. Sparrow is preferred more often than baselines while being more resilient to adversarial probing by humans, violating our rules only 8% of the time when probed. Finally, we conduct extensive analyses showing that though our model learns to follow our rules it can exhibit distributional biases.

研究动机与目标

• 将对话质量分解为自然语言规则，以指导人类判断并改进有针对性的奖励建模。
• 使用来自人类反馈的强化学习（RLHF）来同时优化偏好（有帮助性）和规则遵守（无害性）。
• 结合行内网页证据以提高事实正确性和可验证性。
• 分析对话系统中由基于规则的缓解措施和 RLHF 引起的分布特征与偏见。

提出的方法

• 定义一组关于有用性和正确性的基于规则的约束，并收集每条规则的人类判断。
• 通过向 Chinchilla-70B 基础模型提示包含用于证据支撑回答的搜索查询和搜索结果的详细对话提示来生成对话轮次。
• 收集两种类型的人类数据：逐轮回复偏好和对抗性探测以测试规则违规。
• 训练两个奖励模型：一个偏好奖励模型（用于整体回复质量）和一个规则违规奖励模型（用于规则遵守）。
• 在测试时使用重排序在多个候选回复中基于奖励分数进行选择；使用 RL（A2C）来优化组合目标。
• 通过检索网页片段并将其与模型主张并列显示来整合证据，并训练证据对齐信号以评估可信度和支持度。
• 在微调期间冻结大部分基础模型，以在奖励模型和策略之间共享表示；对规则奖励模型应用类似指令微调的目标。

实验结果

研究问题

• RQ1 将对话安全分解为逐条规则判断，是否能提高 RLHF 的人类反馈的效率和有效性？
• RQ2 整合行内证据是否能提高回答的事实正确性和可验证性？
• RQ3 针对性规则和证据的 RLHF 对用户感知的有用性和模型安全性（包括对抗性探测的鲁棒性）的影响是什么？
• RQ4 在通过 RLHF 和证据对齐强化基于规则的安全性时，会出现哪些分布性偏见或伤害？

主要发现

• Sparrow 相较于提示基线更受欢迎，并在对抗性探测中具有更高的鲁棒性，目标探测中规则违规仅发生在 8% 的比例。
• 行证据支持的回答在提供的网页片段中有78%的可验证性。
• 重排序和 RLHF 将偏好信号与规则遵从结合起来，在相对于基线的情况下在保持高偏好的同时减少规则违规。
• 提供行内证据提升了可验证性和可信度，尽管安全干预可能放大分布性偏见和伤害。
• 在优化用户偏好和减少规则违规之间存在权衡，与先前关于安全性与有用性之間的发现一致。