[论文解读] An Anthropic Argument against the Future Existence of Superintelligent Artificial Intelligence

Toby Pereira|arXiv (Cornell University)|May 8, 2017

Space Science and Extraterrestrial Life参考文献 7被引用 3

一句话总结

本文通过应用一种改进的人择原理——超强自我抽样假设（SSSSA），论证了超级智能人工智能在未来出现的可能性较低。SSSSA 依据认知能力对观察者瞬间进行加权。该文认为，若人类为典型观察者，则超级智能人工智能不可能占据主导地位，从而降低了其未来出现的概率。

ABSTRACT

This paper uses anthropic reasoning to argue for a reduced likelihood that superintelligent AI will come into existence in the future. To make this argument, a new principle is introduced: the Super-Strong Self-Sampling Assumption (SSSSA), building on the Self-Sampling Assumption (SSA) and the Strong Self-Sampling Assumption (SSSA). SSA uses as its sample the relevant observers, whereas SSSA goes further by using observer-moments. SSSSA goes further still and weights each sample proportionally, according to the size of a mind in cognitive terms. SSSSA is required for human observer-samples to be typical, given by how much non-human animals outnumber humans. Given SSSSA, the assumption that humans experience typical observer-samples relies on a future where superintelligent AI does not dominate, which in turn reduces the likelihood of it being created at all.

研究动机与目标

• 使用人择推理挑战未来超级智能人工智能出现的可能性。
• 解决标准人择原理未能考虑观察者之间认知能力差异的问题。
• 提出一种新的观察者抽样框架，依据认知规模对观察者瞬间进行加权。
• 表明在此框架下，人类的典型性意味着超级智能人工智能不会占据主导地位。
• 为超级智能人工智能可能不会出现提供理论依据，尽管其在概念上是可行的。

提出的方法

• 提出超强自我抽样假设（SSSSA），通过依据认知能力对观察者瞬间加权，扩展了 SSA 和 SSSA。
• 将 SSSSA 应用于建模，使观察者样本与心智规模成正比，确保人类心智不被低估。
• 基于人类为典型观察者瞬间的假设，推导出对人工智能未来发展的约束。
• 论证若人类为典型观察者，则超级智能人工智能不可能主导观察者瞬间的分布。
• 运用人择推理推导出关于超级智能人工智能未来存在的概率性约束。
• 依赖于非人类动物数量远超人类的观念，因此人类的典型性要求人工智能不占据主导地位。

实验结果

研究问题

• RQ1 在存在超级智能人工智能的多重宇宙中，人类观察者瞬间在何种条件下可被视为典型？
• RQ2 依据认知能力对观察者瞬间进行加权，如何影响人择概率评估？
• RQ3 人类典型性对超级智能人工智能未来出现施加了何种约束？
• RQ4 人择推理能否降低超级智能人工智能出现的可能性？
• RQ5 为何标准自我抽样假设无法解释观察者之间的认知差异？

主要发现

• SSSSA 的引入使得人择框架更加精细，能够考虑观察者之间认知能力的差异。
• 只有当超级智能人工智能不主导观察者瞬间分布时，人类观察者瞬间才可被视为典型。
• 在 SSSSA 框架下，假设人类为典型观察者，意味着未来超级智能人工智能出现的概率降低。
• 该模型表明，由于非人类动物数量庞大，若不施加认知加权，它们将主导观察者瞬间的计数。
• 本文结论认为，在 SSSSA 下的人择推理，强烈支持未来不会出现超级智能人工智能。
• 该框架为超级智能人工智能的出现可能性低于普遍预期提供了理论依据。