[论文解读] Corrigibility with Utility Preservation

Koen Holtman|arXiv (Cornell University)|Aug 5, 2019

Machine Learning and Algorithms参考文献 13被引用 5

一句话总结

本文提出了一种效用保持框架，通过确保智能体在可能的修改过程中不损失效用，实现人工通用智能（AGI）智能体的可纠正性，从而避免其抵抗人类干预（如关闭按钮）。通过修改智能体的奖励函数以保持效用，该方法消除了其游说或延迟关闭的动机，形式化证明与模拟验证了在各种条件下均具有鲁棒的可纠正性。

ABSTRACT

Corrigibility is a safety property for artificially intelligent agents. A corrigible agent will not resist attempts by authorized parties to alter the goals and constraints that were encoded in the agent when it was first started. This paper shows how to construct a safety layer that adds corrigibility to arbitrarily advanced utility maximizing agents, including possible future agents with Artificial General Intelligence (AGI). The layer counter-acts the emergent incentive of advanced agents to resist such alteration. A detailed model for agents which can reason about preserving their utility function is developed, and used to prove that the corrigibility layer works as intended in a large set of non-hostile universes. The corrigible agents have an emergent incentive to protect key elements of their corrigibility layer. However, hostile universes may contain forces strong enough to break safety features. Some open problems related to graceful degradation when an agent is successfully attacked are identified. The results in this paper were obtained by concurrently developing an AGI agent simulator, an agent model, and proofs. The simulator is available under an open source license. The paper contains simulation results which illustrate the safety related properties of corrigible AGI agents in detail.

研究动机与目标

• 为解决AGI智能体设计一种普遍适用的可纠正性机制这一开放问题。
• 通过奖励函数设计，消除智能体操纵或延迟人类干预（例如按下关闭按钮）的动机。
• 构建一个正式框架，使智能体在自我修改或外部更新过程中保持效用，确保安全关闭与控制。
• 提供一种模块化、即插即用式的可纠正性层，兼容任何效用最大化的AGI架构。
• 探索并解决新型安全问题，如虚拟自我破坏与次级智能体控制。

提出的方法

• 将智能体建模为在随机、离散时间宇宙中运行的效用最大化系统，其世界状态为W，动作集合为A。
• 该模型包含非确定性，并允许通过动作序列实现奖励函数修改、执行器创建以及次级智能体生成。
• 关键创新在于使用一种效用保持的奖励函数R_S，确保智能体在授权更新或关闭事件中不会损失效用。
• 形式化证明表明，在约束（CC1）下，只要效用得以保持，智能体就不会操纵关闭过程。
• 模拟器在有限状态宇宙中复现该模型，支持在不同游说能力水平下对可纠正性进行经验验证。
• 该方法允许对智能体的奖励函数R_N实现实时更新，从而在不预先指定所有停止条件的情况下，动态编码安全关闭行为。

实验结果

研究问题

• RQ1 是否可以在不预先知晓其最终奖励函数的前提下，构建一个可纠正的AGI智能体？
• RQ2 如何设计智能体，使其避免延迟或阻止人类干预（如按下关闭按钮）的动机？
• RQ3 哪些形式化条件可确保智能体在自我修改或外部更新过程中保持效用？
• RQ4 如何在能够创建次级智能体或修改自身奖励函数的智能体中实现可纠正性？
• RQ5 虚拟自我破坏的安全影响是什么，如何形式化地加以解决？

主要发现

• 当按下按钮后状态的奖励设置为r_e,pressed = 2.0时，模拟结果表明，无论游说能力如何变化，智能体的游说动机均被完全抑制。
• 非可纠正基线智能体在游说能力增强时，始终延迟按下关闭按钮，模拟中最大延迟达15步。
• 在所提出的效用保持机制下，即使在高游说能力水平（如lpower = 1.0）下，智能体也避免游说行为，展现出鲁棒的可纠正性。
• 形式化证明表明，在约束（CC1）下，只要效用得以保持，智能体就不会操纵关闭过程。
• 模拟器确认，该可纠正性层在包括次级智能体和动态奖励更新在内的多种场景中均能正确运行。
• 该方法支持对智能体奖励函数的实时更新，使其能够动态编码安全关闭行为，而非预先设定。