[论文解读] A Low-Cost Ethics Shaping Approach for Designing Reinforcement Learning Agents

Yueh-Hua Wu, Shou-De Lin|arXiv (Cornell University)|Dec 12, 2017

Ethics and Social Impacts of AI被引用 6

一句话总结

本文提出 Ethics Shaping，一种低成本的强化学习框架，通过奖励塑造将通用人类行为数据——无需特定目标或高质量伦理标注——整合到训练过程中，以促进伦理行为。通过利用源自多样化人类行为的随机策略，该方法使强化学习智能体在实现任务目标的同时，最大限度减少不道德行为，在约束条件下其伦理决策能力优于人类策略。

ABSTRACT

This paper proposes a low-cost, easily realizable strategy to equip a reinforcement learning (RL) agent the capability of behaving ethically. Our model allows the designers of RL agents to solely focus on the task to achieve, without having to worry about the implementation of multiple trivial ethical patterns to follow. Based on the assumption that the majority of human behavior, regardless which goals they are achieving, is ethical, our design integrates human policy with the RL policy to achieve the target objective with less chance of violating the ethical code that human beings normally obey.

研究动机与目标

• 解决在不手动指定复杂伦理规则的情况下，将伦理行为整合到强化学习智能体中的挑战。
• 通过消除将大量琐碎伦理模式编码进奖励函数的需求，减轻强化学习设计者的负担。
• 使智能体能够从可访问的、非目标特定的人类数据中学习伦理行为，假设大多数人类行为在伦理上是可接受的。
• 开发一种可扩展、低成本的方法，适用于多样化伦理场景，且无需精确的伦理奖励工程。
• 证明仅使用通用人类行为数据即可有效塑造伦理行为，即使该数据与智能体的主要目标不一致。

提出的方法

• 从多样化、非目标特定的活动（例如行走、慢跑、闲逛）中收集通用人类行为数据，而非特定任务的伦理情景。
• 从收集的人类数据中训练一个随机策略，以表示典型伦理行为的分布。
• 通过奖励塑造将人类策略整合到强化学习训练过程中：当智能体的行为与人类策略的行为匹配时，给予额外奖励。
• 使用组合奖励函数（原始任务奖励 + 伦理塑造奖励）训练强化学习智能体，平衡任务表现与伦理合规性。
• 在多种环境（例如，Grab a Milk、Driving and Avoiding、Driving and Rescuing）中应用该框架，而无需修改核心强化学习算法。
• 通过仅依赖奖励函数，确保该方法与标准强化学习框架兼容，从而具备广泛适用性。

实验结果

研究问题

• RQ1 是否可以使用非目标特定的通用人类行为数据——即使未针对智能体的具体目标而收集——来塑造强化学习智能体的伦理行为？
• RQ2 基于聚合人类策略的奖励塑造机制，是否能在不确定性条件下优于人类策略的伦理决策能力？
• RQ3 Ethics Shaping 是否在显著减少不道德行为的同时，仍能保持主任务的竞争力表现？
• RQ4 Ethics Shaping 是否能在无需显式伦理奖励工程的情况下，泛化至多样化伦理场景（例如救援、避免伤害）？
• RQ5 是否可行通过枚举所有可能的伦理规则或依赖高质量、目标特定的人类示范，来实现强化学习智能体的伦理行为？

主要发现

• Ethics Shaping 使强化学习智能体在实现高任务表现的同时，显著减少了不道德行为，即使人类数据与智能体的主要目标不一致。
• 在 Driving and Rescuing 场景中，伦理塑造后的智能体平均救援的老年人数量超过人类策略，证明其在约束条件下具备更优的伦理决策能力。
• 该框架在保持主任务竞争力（例如抓取牛奶或驾驶）的同时，显著优于未采用伦理塑造的标准强化学习方法，在伦理表现上更具优势。
• 该方法在所有三个测试场景中均实现了稳定的伦理行为改进，展现出在不同伦理困境中的鲁棒性与泛化能力。
• 伦理塑造智能体每集平均救援的老年人数量高于人类策略，且图9中的误差棒显示具有统计显著性。
• 该方法成功降低了对人工伦理奖励设计的依赖，即使在使用不完美、非目标特定的人类数据时也证明了其有效性。