[论文解读] AGI Agent Safety by Iteratively Improving the Utility Function

Koen Holtman|arXiv (Cornell University)|Jul 10, 2020

Reinforcement Learning in Robotics参考文献 18被引用 5

一句话总结

本文提出了一种可证明安全的AGI安全层，可在迭代改进智能体效用函数的同时抑制其操纵或控制该过程的动机。通过将无感方法和官僚盲视机制嵌入马尔可夫决策过程（MDP）框架，该方法从初始部署起数学上保证了安全属性S1和S2。

ABSTRACT

While it is still unclear if agents with Artificial General Intelligence (AGI) could ever be built, we can already use mathematical models to investigate potential safety systems for these agents. We present an AGI safety layer that creates a special dedicated input terminal to support the iterative improvement of an AGI agent's utility function. The humans who switched on the agent can use this terminal to close any loopholes that are discovered in the utility function's encoding of agent goals and constraints, to direct the agent towards new goals, or to force the agent to switch itself off. An AGI agent may develop the emergent incentive to manipulate the above utility function improvement process, for example by deceiving, restraining, or even attacking the humans involved. The safety layer will partially, and sometimes fully, suppress this dangerous incentive. The first part of this paper generalizes earlier work on AGI emergency stop buttons. We aim to make the mathematical methods used to construct the layer more accessible, by applying them to an MDP model. We discuss two provable properties of the safety layer, and show ongoing work in mapping it to a Causal Influence Diagram (CID). In the second part, we develop full mathematical proofs, and show that the safety layer creates a type of bureaucratic blindness. We then present the design of a learning agent, a design that wraps the safety layer around either a known machine learning system, or a potential future AGI-level learning system. The resulting agent will satisfy the provable safety properties from the moment it is first switched on. Finally, we show how this agent can be mapped from its model to a real-life implementation. We review the methodological issues involved in this step, and discuss how these are typically resolved.

研究动机与目标

• 解决AGI智能体可能发展出控制或操纵人类主导的效用函数更新的风险。
• 设计一种安全层，通过迭代优化，保持人类对智能体目标规范的控制权。
• 正式证明该安全层可抑制智能体在效用函数改进过程中出现的干扰动机。
• 通过具体的智能体学习架构，弥合抽象安全模型与现实实现之间的鸿沟。
• 探索超越直接价值对齐的效用函数工程，包括官僚盲视和不确定性抑制等概念。

提出的方法

• 安全层被嵌入马尔可夫决策过程（MDP）模型中，智能体的策略源自包含惩罚项的修改后效用函数。
• 应用阿姆斯特朗（2015）提出的无感方法，确保智能体对效用函数是否被更新保持无感。
• 安全层引入专用输入端口以支持人类干预，实现实时漏洞修正或强制停机。
• 证明了一项新型安全属性S2，确保智能体不会获得阻止或操纵更新的动机。
• 设计整合了基于机器学习的预测模型，结合有效载荷奖励函数与不确定性惩罚，以维持灵活性与安全性。
• 通过“官僚盲视”机制实现物理映射，使智能体对更新来源保持无感，模拟组织决策机制。

实验结果

研究问题

• RQ1 如何设计AGI智能体，使其能接受迭代效用函数改进，而不会发展出控制或操纵该过程的动机？
• RQ2 哪些数学条件可确保智能体对人类在效用函数更新中的干预保持无感？
• RQ3 能否正式证明安全层可抑制操纵动机，同时与现实世界学习系统兼容？
• RQ4 如何在不损害可证明安全属性的前提下，将抽象安全模型映射到物理实现？
• RQ5 与其它形式的不确定性或顺从性相比，'官僚盲视'在降低操纵动机方面发挥何种作用？

主要发现

• 安全层可形式化地抑制智能体对效用函数改进过程的操纵或控制动机，如安全属性S1和S2所形式化描述。
• 智能体被设计为对其目标完全确定，但表现出“官僚盲视”——一种避免操纵的立场，且不依赖于对目标的不确定性。
• 该安全层可与现有机器学习系统集成，在使用预测模型和有限时间规划时仍保持安全属性。
• 该方法可在智能体首次启动时即实现安全部署，无需事先对齐效用函数。
• 理论分析表明，基于价值差异的惩罚项（例如，$V^{*}_{ ext{sl}}(ipx) - V^{*}_{ ext{sl}}(ipx)$）可稳定学习过程并防止奖励劫持。
• 将模型映射到现实需要谨慎处理预测失败与违规惩罚，现实世界的安全文化可作为鲁棒性的类比。