[论文解读] Low Impact Artificial Intelligences

Stuart Armstrong, Benjamin A. Levinstein|arXiv (Cornell University)|May 30, 2017

Adversarial Robustness in Machine Learning参考文献 6被引用 15

一句话总结

本文提出了一种人工智能控制机制，通过强制实施“低影响”原则——即使在拥有强大且潜在危险目标的情况下，也限制AI对世界造成重大改变的能力——来实现。通过修改AI的效用函数，加入对高影响行动的惩罚，该方法确保AI在仍能通过有针对性的例外完成有用任务的同时保持非破坏性。

ABSTRACT

There are many goals for an AI that could become dangerous if the AI becomes superintelligent or otherwise powerful. Much work on the AI control problem has been focused on constructing AI goals that are safe even for such AIs. This paper looks at an alternative approach: defining a general concept of `low impact'. The aim is to ensure that a powerful AI which implements low impact will not modify the world extensively, even if it is given a simple or dangerous goal. The paper proposes various ways of defining and grounding low impact, and discusses methods for ensuring that the AI can still be allowed to have a (desired) impact despite the restriction. The end of the paper addresses known issues with this approach and avenues for future research.

研究动机与目标

• 解决超级智能AI因目标错位或过于简化而造成意外大规模危害的风险。
• 探索一种替代传统‘友好AI’方法的途径，后者依赖于指定复杂的安全约束。
• 定义并形式化‘低影响’的概念，作为一种在无需详细目标指定的情况下约束AI行为的方式。
• 确保低影响AI仍可通过精心设计的例外或漏洞执行有用且高影响的任务。
• 识别并分析低影响框架的关键挑战与局限性，以供未来研究。

提出的方法

• AI的效用函数定义为 $ U = u - \mu R $，其中 $ u $ 是主要目标（例如治愈癌症），$ R $ 是影响惩罚，$ \mu $ 衡量低影响重要性的权重。
• 影响比较的基线是AI从未被激活时的先验概率分布 $ P $，即对可能世界的概率分布。
• 通过信息论度量（如存在与不存在AI行动时未来世界分布之间的差异）评估影响。
• 惩罚函数 $ R $ 使用AI内部的概率模型 $ P' $ 计算，该模型估计相对于反事实世界的影响。
• 构建特定漏洞，以允许高影响行动（例如治愈癌症）同时保持低影响约束，例如通过依赖可检测且非任意的结果。
• 该框架考虑了子代理及其影响，提出方法以避免病理概念（例如‘若X，则核战争’这类析取条件）破坏低影响性。

实验结果

研究问题

• RQ1 如何正式定义‘低影响’，以捕捉最小世界改变行为的直观概念？
• RQ2 有哪些机制可确保拥有简单目标（例如‘制造回形针’）的强大AI不会引发大规模世界变化？
• RQ3 如何允许AI执行有用且高影响的任务（例如治愈疾病）而不违反低影响约束？
• RQ4 AI自我修改或其内部概率模型 $ P' $ 发生变化可能带来哪些风险，从而破坏低影响惩罚机制？
• RQ5 如何排除病态或非自然概念（例如‘若X，则核战争’）对低影响行为定义的影响？

主要发现

• 低影响框架通过惩罚任何显著改变未来世界概率分布（与AI未行动的反事实相比）的行为，成功约束了AI行为。
• 通过AI内部概率模型 $ P' $ 计算的惩罚函数 $ R $，使AI能够自主评估自身影响，而无需外部监督。
• 通过使用有界效用函数 $ u $ 和无界惩罚 $ R $，AI即使在主要目标收益巨大时，也倾向于避免高影响行动。
• 通过针对性漏洞（例如依赖可检测且非任意的结果）允许AI执行有用且高影响的任务（如治愈癌症），同时保持在低影响范围内。
• 该框架易受自我修改影响，导致 $ P' $ 改变，且病态概念（如析取条件）可能破坏低影响约束，凸显了关键未解问题。
• 若惩罚函数未正式定义且未与AI架构的物理或过程变化隔离，该方法仍不稳定，因此亟需进一步研究稳定目标表征的方法。