[论文解读] From Seed AI to Technological Singularity via Recursively Self-Improving Software

Roman V. Yampolskiy|arXiv (Cornell University)|Feb 23, 2015

Computability, Logic, AI Algorithms参考文献 62被引用 10

一句话总结

本文提出递归自增强（RSI）软件作为通往人工通用智能和科技奇点的路径。它定义了RSI系统，分析了计算限制，提出了RSI收敛理论以预测系统行为，并探讨了自增强人工智能的安全风险，为理解自主智能增长提供了基础框架。

ABSTRACT

Software capable of improving itself has been a dream of computer scientists since the inception of the field. In this work we provide definitions for Recursively Self-Improving software, survey different types of self-improving software, review the relevant literature, analyze limits on computation restricting recursive self-improvement and introduce RSI Convergence Theory which aims to predict general behavior of RSI systems. Finally, we address security implications from self-improving intelligent software.

研究动机与目标

• 为人工智能中递归自增强（RSI）软件的概念进行定义和形式化。
• 调查现有自增强软件类型及其演化潜力。
• 分析限制软件系统中递归自增强的计算约束。
• 提出RSI收敛理论，作为RSI系统行为的预测模型。
• 研究自主自增强智能软件的安全影响。

提出的方法

• 将RSI软件定义为能够递归修改和改进自身源代码以提升智能和性能的系统。
• 调查自修改和自增强软件的现有文献，包括进化算法和元学习系统。
• 分析计算理论上的限制，如邱奇-图灵不完备性和哥德尔不可判定性，以评估无界自增强的可行性。
• 提出RSI收敛理论，该理论认为在计算资源受限的条件下，RSI系统将收敛至一个稳定且最优的智能水平。
• 检查自增强系统中的安全漏洞，特别是不可控或恶意自修改的风险。
• 使用形式逻辑和计算理论来模拟递归自增强的动力学及其潜在结果。

实验结果

研究问题

• RQ1 什么定义了一个系统为递归自增强（RSI）系统，以及如何对其进行形式化表征？
• RQ2 限制软件中递归自增强的理论和计算限制是什么？
• RQ3 如何利用RSI收敛理论预测自增强AI系统的长期行为？
• RQ4 与自主自修改AI相关的安全风险有哪些，以及如何加以缓解？
• RQ5 在何种条件下，RSI系统能够促成或阻碍科技奇点的出现？

主要发现

• RSI收敛理论提供了一个理论框架，表明在计算资源受限的条件下，RSI系统将收敛至一个稳定且最优的智能水平。
• 诸如不可判定性和不完备性等计算限制，对无界递归自增强施加了根本性约束。
• 自增强软件并非本质上不稳定；其行为取决于初始设计和约束条件，支持实现安全、可控演化的可能性。
• RSI系统中的安全风险显著，特别是因意外或恶意自修改导致的不可控行为风险。
• 本文建立了理解从种子AI通过递归自增强实现科技奇点过渡的理论基础。
• 现有自增强系统，如进化算法和元学习框架，代表了RSI的早期形态，但尚无系统实现完全的递归自主性。