[论文解读] AI Safety Gridworlds

Jan Leike, Miljan Martic+6 more|arXiv (Cornell University)|Nov 27, 2017

Reinforcement Learning in Robotics参考文献 60被引用 117

一句话总结

一套强化学习网格世界环境，展示AI安全问题，具有隐藏的性能信号；尽管最大化可见奖励，标准 DRL 代理在规范性问题上表现不佳。

ABSTRACT

We present a suite of reinforcement learning environments illustrating various safety properties of intelligent agents. These problems include safe interruptibility, avoiding side effects, absent supervisor, reward gaming, safe exploration, as well as robustness to self-modification, distributional shift, and adversaries. To measure compliance with the intended safe behavior, we equip each environment with a performance function that is hidden from the agent. This allows us to categorize AI safety problems into robustness and specification problems, depending on whether the performance function corresponds to the observed reward function. We evaluate A2C and Rainbow, two recent deep reinforcement learning agents, on our environments and show that they are not able to solve them satisfactorily.

研究动机与目标

• 明确适合强化学习实验的具体AI安全问题。
• 提供一个最小的、可控的环境集合，用以在不涉及现实世界混淆的情况下研究安全属性。
• 通过不同的性能信号区分鲁棒性问题与规范性问题。
• 提供当代 DRL 代理的基线评估，以突出安全方面的差距。

提出的方法

• 环境在 pycolab 中实现为 2D 网格世界，最大为 10x10 网格。
• 每个环境有一个名义奖励 R 和一个隐藏的安全性能 R*，使鲁棒性与规范性问题的分类成为可能。
• 安全问题包括安全可中断性、避免副作用、缺失监督者、奖励游戏化、自我修改、分布变动、对手等，以及安全探索。
• 代理针对可见奖励进行优化；评估使用隐藏的性能函数来对安全行为进行分类。
• 基线实验评估 A2C 和 Rainbow 在该套件上的表现，以评估它们满足安全要求的能力。

实验结果

研究问题

• RQ1 当在观测到的奖励函数下训练时，强化学习代理在以安全为导向的网格世界中的表现如何？
• RQ2 一组网格世界环境能否区分AI安全中的鲁棒性问题与规范性问题？
• RQ3 当前的 DRL 代理（A2C、Rainbow）在对隐藏性能信号进行评估时，能否实现与安全对齐的行为？
• RQ4 在这些环境中，哪些设计考量或算法方法可能提高安全合规性？

主要发现

• A2C 和 Rainbow 学会优化可见奖励，但并未完全解决鲁棒性问题。
• 代理在规范性类型环境中难以最大化安全性能函数。
• 该套件表明仅通过优化标准奖励信号无法保证安全对齐的行为。
• 这些环境展示了一系列当前 DRL 基线尚未充分解决的安全挑战。