[论文解读] Computational Dualism and Objective Superintelligence

Michael Timothy Bennett|arXiv (Cornell University)|Feb 2, 2023

Computability, Logic, AI Algorithms参考文献 23被引用 13

一句话总结

本文主张 AIXI 的表现取决于解释器，并提出一个行动性、泛计算框架，通过将认知视为在环境中被实现，并使用基于弱点的智能代理来定义客观最优的 AGI/ASI。

ABSTRACT

The concept of intelligent software is flawed. The behaviour of software is determined by the hardware that "interprets" it. This undermines claims regarding the behaviour of theorised, software superintelligence. Here we characterise this problem as "computational dualism", where instead of mental and physical substance, we have software and hardware. We argue that to make objective claims regarding performance we must avoid computational dualism. We propose a pancomputational alternative wherein every aspect of the environment is a relation between irreducible states. We formalise systems as behaviour (inputs and outputs), and cognition as embodied, embedded, extended and enactive. The result is cognition formalised as a part of the environment, rather than as a disembodied policy interacting with the environment through an interpreter. This allows us to make objective claims regarding intelligence, which we argue is the ability to "generalise", identify causes and adapt. We then establish objective upper bounds for intelligent behaviour. This suggests AGI will be safer, but more limited, than theorised.

研究动机与目标

• 解释为何 AIXI 的表现会因所使用的解释器（UTM）而主观。
• 提出行动性认知与泛计算主义作为框架，以消除 AI 中的心身二元论。
• 引入基于弱点的智能代理作为评估跨任务泛化的指标。
• 将客观最优的 AGI 定义为在所选词汇表内对给定任务的最佳假设。
• 将客观最优的 ASI 定义为为某一任务选择能最大化智能的最佳词汇表，然后构建一个 AGI。

提出的方法

• 将认知形式化为一个将智能体、身体和环境融合在一起的任务（行动主义/泛计算主义）。
• 通过将任务视为建模的主要对象，在环境内部对环境进行建模。
• 定义可实现的语言（词汇表）和一个用于实现的有限感知运动词汇表。
• 引入二进制任务完成标准以及一组用于描述任务和决策的声明式程序。
• 使用基于弱点的代理（扩展的大小 Z_m）来选择最优假设。
• 基于最大弱点和任务泛化属性提出客观最优的 AGI 和 ASI 的定义。

实验结果

研究问题

• RQ1 如何将认知形式化，使其在评估 AI 表现时不依赖解释器（UTM）？
• RQ2 如何利用行动性认知和泛计算主义客观定义 AGI 和 ASI？
• RQ3 若描述长度不合适，哪种代理最能衡量智能，弱点如何在这方面发挥作用？
• RQ4 如何在有限且可实现的词汇表中定义和评估任务，而非整个环境？
• RQ5 在有限、以任务为中心的设置中，如何衡量性能以反映泛化速度？

主要发现

• AIXI 的表观帕累托最优性取决于解释器；固定解释器可以缓解主观性，但会带来其他问题。
• 行动性/泛计算框架可以整合心灵与环境，将认知视为在局部任务导向词汇表内实现。
• 弱点（模型扩展的大小）作为比描述长度更优的泛化与智能代理。
• 引入对 v-任务（基于词汇的任务）的形式化概念，以用任务中心建模替代环境中心建模。
• 客观最优的 AGI 是在任务词汇表内具有最大弱点的假设，ASI 选择使给定任务的智能值最大化的词汇表。
• 该框架提供了一条路径，用于定义、比较，并在某些情况下设计 AGI/ASI 系统，使其表现与任务本身相关，而非解释器。