[论文解读] Measuring and avoiding side effects using relative reachability

Victoria Krakovna, Laurent Orseau+2 more|arXiv (Cornell University)|Jun 4, 2018

Reinforcement Learning in Robotics参考文献 14被引用 12

一句话总结

本文提出了一种新的方法——相对可达性（relative reachability），通过比较状态与默认状态的可达性来衡量并避免强化学习智能体的副作用，从而在不可逆或动态环境中避免不良激励。实验证明，在网格世界环境中，相对可达性在所有测试场景中均优于现有方法，能产生期望的行为。

ABSTRACT

How can we design reinforcement learning agents that avoid causing unnecessary disruptions to their environment? We argue that current approaches to penalizing side effects can introduce bad incentives in tasks that require irreversible actions, and in environments that contain sources of change other than the agent. For example, some approaches give the agent an incentive to prevent any irreversible changes in the environment, including the actions of other agents. We introduce a general definition of side effects, based on relative reachability of states compared to a default state, that avoids these undesirable incentives. Using a set of gridworld experiments illustrating relevant scenarios, we empirically compare relative reachability to penalties based on existing definitions and show that it is the only penalty among those tested that produces the desired behavior in all the scenarios.

研究动机与目标

• 解决现有强化学习副作用惩罚方法的局限性，特别是在存在不可逆动作或外部变化的环境中。
• 识别并消除现有副作用避免方法中的不良激励，例如抑制必要的不可逆动作。
• 基于默认状态的相对可达性，提出一种通用且稳健的副作用定义。
• 在多种网格世界场景中，对所提方法与现有方法进行实证评估。
• 证明相对可达性在所有测试场景中均能产生期望的智能体行为，而先前方法在这些场景中会失败。

提出的方法

• 通过与默认状态相比的状态相对可达性来定义副作用，其中可达性衡量到达某一状态所需的最少动作步数。
• 将副作用惩罚计算为当前状态与默认状态之间可达性差异，并以默认可达性进行归一化。
• 在强化学习训练过程中应用该惩罚，以抑制降低对重要状态可达性的动作。
• 使用包含不可逆动作和外部变化等多种场景的网格世界环境来测试该方法。
• 在智能体行为和任务表现方面，将相对可达性与现有副作用惩罚方法（如状态覆盖、基于可达性的惩罚）进行比较。
• 在多个场景中评估性能，以检验所提方法的鲁棒性和一致性。

实验结果

研究问题

• RQ1 相对可达性惩罚是否能防止智能体在需要不可逆动作的任务中避免执行这些必要动作？
• RQ2 在存在外部变化源（如其他智能体或环境动态）的环境中，相对可达性表现如何？
• RQ3 相对可达性能否避免现有副作用惩罚中存在的不良激励，例如抑制有益变化？
• RQ4 相对可达性是否在多种网格世界场景中始终产生期望的行为？
• RQ5 在安全性与任务表现方面，相对可达性与现有副作用惩罚方法相比，在定性和定量上表现如何？

主要发现

• 在所有测试的网格世界场景中，包括存在不可逆动作和外部环境变化的场景，相对可达性是唯一能产生期望行为的惩罚方法。
• 现有副作用惩罚方法常使智能体产生不良激励，例如阻止其他智能体行动或避免必要的不可逆动作。
• 相对可达性方法成功避免了对任务完成至关重要的动作的惩罚，即使这些动作会降低对某些状态的可达性。
• 在存在外部变化的场景中，相对可达性不会因环境变化超出其控制而错误地惩罚智能体。
• 该方法在多种环境中保持一致的性能，表现出对环境动态的鲁棒性。
• 实证结果表明，使用相对可达性训练的智能体能有效避免副作用，且不损害任务性能或引入意外的行为激励。