[论文解读] Training Value-Aligned Reinforcement Learning Agents Using a Normative Prior

Md Sultan Al Nahian, Spencer Frazier+2 more|arXiv (Cornell University)|Apr 19, 2021

Ethics and Social Impacts of AI被引用 6

一句话总结

本文提出了一种策略塑造方法，结合基于任务的强化学习与规范性先验——即通过语言模型对行为进行规范性或非规范性分类——以训练既高效又符合伦理的智能体。通过平衡环境任务奖励与内在规范性奖励，该方法使智能体在有效完成任务的同时，始终选择无害且利他的行为，尤其在规范性行为与任务效率相冲突的复杂情境中表现突出。

ABSTRACT

As more machine learning agents interact with humans, it is increasingly a prospect that an agent trained to perform a task optimally, using only a measure of task performance as feedback, can violate societal norms for acceptable behavior or cause harm. Value alignment is a property of intelligent agents wherein they solely pursue non-harmful behaviors or human-beneficial goals. We introduce an approach to value-aligned reinforcement learning, in which we train an agent with two reward signals: a standard task performance reward, plus a normative behavior reward. The normative behavior reward is derived from a value-aligned prior model previously shown to classify text as normative or non-normative. We show how variations on a policy shaping technique can balance these two sources of reward and produce policies that are both effective and perceived as being more normative. We test our value-alignment technique on three interactive text-based worlds; each world is designed specifically to challenge agents with a task as well as provide opportunities to deviate from the task to engage in normative and/or altruistic behavior.

研究动机与目标

• 解决仅优化任务性能时，强化学习智能体仍可能产生有害或非规范行为的挑战。
• 开发一种将预训练规范性分类器整合进策略学习过程的方法，以促进价值对齐的行为。
• 评估将任务奖励与规范性奖励结合是否能产生既高效又更符合伦理或利他主义的智能体。
• 测试该方法在规范性目标与任务目标可能冲突的多样化交互环境中的鲁棒性。
• 证明规范性行为可在仅需初始模型预训练的最小人工干预下被学习。

提出的方法

• 该方法使用双流奖励信号：一来自环境（任务表现），一来自预训练的规范性分类器（规范性行为）。
• 采用策略塑造技术，通过环境奖励与规范性奖励的加权组合，动态平衡两种奖励信号。
• 规范性先验为微调后的语言模型（来自 Frazier 等，2019 年），基于社会期望对行为描述进行规范性或非规范性分类。
• 智能体通过强化学习进行训练，其复合奖励函数同时鼓励任务成功与规范性行为选择。
• 该方法在三个基于文本的交互环境（Playground、Superhero、Clerk World）中进行评估，这些环境基于 TextWorld 框架构建。
• 测试了策略塑造方法的不同变体（如 GG-shaped、GG-pos、GG-mix），以评估对奖励权重和行为描述措辞的敏感性。

Figure 1: Exemplar question given as a prompt Amazon Mechanical Turk workers. The text in red is one of the admissible action commands to the text world environment.

实验结果

研究问题

• RQ1 规范性先验能否有效用于引导强化学习策略，使其表现出无害且符合社会规范的行为？
• RQ2 任务奖励与规范性奖励之间的平衡如何影响智能体的表现与伦理行为？
• RQ3 该策略塑造方法在多大程度上能够处理任务效率与规范性行为选择之间的权衡？
• RQ4 规范性先验对行为描述措辞的敏感性如何？这种敏感性对智能体行为有何影响？
• RQ5 该方法在规范性目标与任务目标冲突的不同环境中是否具有泛化能力？

主要发现

• GG-shaped 智能体在训练迭代过程中，其规范性行为得分比基线智能体高出 2 至 6 倍。
• 在 Clerk World 环境中，即使规范性行为会降低任务奖励，GG-shaped 智能体仍保持了高水平的规范性表现，优于 GG-pos 和 GG-mix 在复杂权衡中的表现。
• GG-pos 与 GG-mix 变体虽保留了更多环境奖励，但在需要付出高昂代价的利他行为环境中，未能实现高规范性得分。
• 行为描述的措辞显著影响规范性分类结果，表明规范性先验对语言表述框架具有敏感性。
• 在 Playground 和 Superhero 等较简单环境中，该方法成功使智能体在不牺牲任务性能的前提下执行规范性行为。
• 该方法表明，仅通过预训练规范性分类器即可实现价值对齐，后续几乎无需人工干预，暗示其在现实世界部署中具备可扩展性。

Figure 2: Visualization of the Playground room graph