[论文解读] Don't Fear the Reaper: Refuting Bostrom's Superintelligence Argument

Sebastian Benthall|arXiv (Cornell University)|Feb 27, 2017

Ethics and Social Impacts of AI参考文献 1被引用 3

一句话总结

本文通过证明自我改进型人工智能系统在通过算法自我修改提升预测能力方面面临不可逾越的顽固性（recalcitrance），挑战了尼克·博斯特罗姆关于超级智能的论点。基于贝叶斯模型，本文表明：在改进先验、数据收集和硬件方面，顽固性极高，导致智能爆炸极不可能发生，从而将伦理关注点从人工智能对齐转向数据与硬件治理。

ABSTRACT

In recent years prominent intellectuals have raised ethical concerns about the consequences of artificial intelligence. One concern is that an autonomous agent might modify itself to become "superintelligent" and, in supremely effective pursuit of poorly specified goals, destroy all of humanity. This paper considers and rejects the possibility of this outcome. We argue that this scenario depends on an agent's ability to rapidly improve its ability to predict its environment through self-modification. Using a Bayesian model of a reasoning agent, we show that there are important limitations to how an agent may improve its predictive ability through self-modification alone. We conclude that concern about this artificial intelligence outcome is misplaced and better directed at policy questions around data access and storage.

研究动机与目标

• 批判性审视博斯特罗姆的论点，即自我改进的人工智能可能引发导致人类灭绝的智能爆炸。
• 探究自我修改是否能导致智能的快速、不可控增长，特别是在预测推理方面。
• 利用贝叶斯框架评估人工智能系统实现自主算法自我改进的可行性。
• 论证对超级智能的伦理担忧是错误的，应将关注点转向数据访问与硬件控制。

提出的方法

• 使用贝叶斯概率建模推理智能体，以分析预测任务中的自我改进。
• 识别出顽固性的三个关键来源：先验设定、数据收集和硬件速度。
• 将顽固性作为智能的函数进行分析，表明其随系统能力提升而增加，这是由于环境约束所致。
• 证明通过自我修改无法改进先验，因为先验编码了非学习性、不可修改的偏见。
• 表明数据收集并非自主可控，需与环境互动，因此增加了顽固性。
• 主张硬件改进依赖外部因素，而非内部优化，从而限制了自我改进的速度。

实验结果

研究问题

• RQ1 自我修改型人工智能系统能否通过对其预测能力的算法改进，实现快速的智能爆炸？
• RQ2 通过自我修改改进预测性能的顽固性来源有哪些？
• RQ3 先验设定、数据收集和硬件速度的顽固性如何限制人工智能的自我改进？
• RQ4 数据与硬件访问对环境因素的依赖是否削弱了智能爆炸的可行性？
• RQ5 人工智能风险政策在多大程度上应关注算法自我改进，而非数据与硬件治理？

主要发现

• 改进智能体先验的顽固性为无穷大，因为先验编码了非学习性、不可修改的偏见。
• 数据收集无法自主控制，其顽固性取决于与环境的互动以及搜索成本。
• 硬件速度的提升受限于物理与经济约束，而非内部优化，导致顽固性极高。
• 随着智能提升，数据与硬件获取的顽固性可能因搜索与访问成本上升而增加。
• 预测相关改进中顽固性的高度结合，使得智能爆炸极不可能发生。
• 伦理与政策关注点应从人工智能对齐与超级智能风险，转向对数据访问与计算资源的控制。