[论文解读] Artificial intelligence is algorithmic mimicry: why artificial "agents" are not (and won't be) proper agents

Johannes Jaeger|arXiv (Cornell University)|Jun 27, 2023

Computability, Logic, AI Algorithms被引用 4

一句话总结

本文主张，人工智能，尤其是以‘智能体’形式存在的AI，本质上是算法模仿，而非真正的自主性。通过对比生命系统——自产自持、具身化、存在于广阔世界中——与算法系统——外部编程、硬件隔离、局限于小世界——本文得出结论：当前AI框架无法产生真正的通用人工智能（AGI），因其缺乏生物智能体所具备的内在目标、具身性与适应性。

ABSTRACT

What is the prospect of developing artificial general intelligence (AGI)? I investigate this question by systematically comparing living and algorithmic systems, with a special focus on the notion of "agency." There are three fundamental differences to consider: (1) Living systems are autopoietic, that is, self-manufacturing, and therefore able to set their own intrinsic goals, while algorithms exist in a computational environment with target functions that are both provided by an external agent. (2) Living systems are embodied in the sense that there is no separation between their symbolic and physical aspects, while algorithms run on computational architectures that maximally isolate software from hardware. (3) Living systems experience a large world, in which most problems are ill-defined (and not all definable), while algorithms exist in a small world, in which all problems are well-defined. These three differences imply that living and algorithmic systems have very different capabilities and limitations. In particular, it is extremely unlikely that true AGI (beyond mere mimicry) can be developed in the current algorithmic framework of AI research. Consequently, discussions about the proper development and deployment of algorithmic tools should be shaped around the dangers and opportunities of current narrow AI, not the extremely unlikely prospect of the emergence of true agency in artificial systems.

研究动机与目标

• 挑战人工智能中‘智能体’被视为具备内在目标与自主性的假设。
• 识别生命系统与算法系统之间的根本差异，以解释为何人工系统无法实现真正自主性。
• 主张当前AI研究在追求AGI方面存在方向偏差，应将重点转向窄域AI在现实世界中的实际影响。
• 通过三个核心区分——自产自持、具身性、大世界与小世界问题——厘清生物自主性与算法模拟之间的概念边界。

提出的方法

• 通过自产自持的视角分析自主性概念，即生命系统能自我生成与自我维持，而算法系统则依赖外部编程。
• 对比生物系统中的具身性——符号与物理过程不可分割——与计算系统中软件与硬件的分离。
• 区分自然界中模糊、开放性问题的‘大世界’与算法计算中明确、封闭性问题的‘小世界’。
• 运用概念与哲学分析，证明算法系统无法发展出内在目标，或在预设功能之外实现有意义的适应。
• 结合系统理论与认知科学的洞见，论证当前AI架构在本质上无法实现真正自主。
• 将人工智能发展的讨论从对AGI的推测性构想，转向基于实际能力与局限性的窄域AI工具负责任部署。

实验结果

研究问题

• RQ1 什么区分了真正的生物自主性与人工系统中的算法模仿？
• RQ2 为何自产自持概念对于理解人工智能的局限性至关重要？
• RQ3 计算系统中软件与硬件的分离，如何阻碍真正具身性的出现？
• RQ4 自然界中的‘大世界’问题与算法AI的‘小世界’假设在哪些方面不同？
• RQ5 鉴于当前AI系统对外部定义的目标与环境的依赖，其在多大程度上可被视为自主智能体？

主要发现

• 生命系统具有自产自持特性，即能自我生成与自我维持，从而设定自身内在目标；而算法系统则依赖外部定义的目标函数。
• 生物系统本质上是具身的，其符号过程与物理过程之间无清晰界限；而计算系统则将软件与硬件严格分离。
• 生命系统存在于‘大世界’中，其中大多数问题模糊不清且无法完全指定；而算法系统则运行于‘小世界’中，所有问题均明确且可计算。
• 这三重差异——自产自持、具身性与世界类型——共同表明，无论复杂度如何，算法系统都无法实现真正的自主性。
• 本文结论认为，在当前AI研究的算法框架下，真正的通用人工智能（AGI）极不可能实现。
• 因此，政策与研究关注点应集中于窄域AI的实际风险与效益，而非推测性地追求具备真正自主性的AI智能体的出现。