[논문 리뷰] Computational Dualism and Objective Superintelligence

Michael Timothy Bennett|arXiv (Cornell University)|2023. 02. 02.

Computability, Logic, AI Algorithms참고 문헌 23인용 수 13

한 줄 요약

이 논문은 AIXI의 성능이 해석자에 의존적임을 주장하고, 환경 내에서 행위적으로 구성된 인지와 지능의 약점 기반 프록시를 사용하여 객관적으로 최적의 AGI/ASI를 정의하기 위한 인에이티브(Enactive) 및 팬컴퓨테이셔널(Pancomputational) 프레임워크를 제안한다.

ABSTRACT

The concept of intelligent software is flawed. The behaviour of software is determined by the hardware that "interprets" it. This undermines claims regarding the behaviour of theorised, software superintelligence. Here we characterise this problem as "computational dualism", where instead of mental and physical substance, we have software and hardware. We argue that to make objective claims regarding performance we must avoid computational dualism. We propose a pancomputational alternative wherein every aspect of the environment is a relation between irreducible states. We formalise systems as behaviour (inputs and outputs), and cognition as embodied, embedded, extended and enactive. The result is cognition formalised as a part of the environment, rather than as a disembodied policy interacting with the environment through an interpreter. This allows us to make objective claims regarding intelligence, which we argue is the ability to "generalise", identify causes and adapt. We then establish objective upper bounds for intelligent behaviour. This suggests AGI will be safer, but more limited, than theorised.

연구 동기 및 목표

• AIXI의 성능이 사용되는 해석자(UTM)에 따라 주관적임을 설명한다.
• AI에서 마음-몸 이원론을 제거하기 위한 인에이티브 인지와 팬컴퓨테이셔널리즘의 프레임워크를 제안한다.
• 다양한 작업에 대한 일반화 평가를 위한 지능의 약점 기반 프록시를 도입한다.
• 주어진 어휘 내에서 특정 작업에 대한 최적 가설로서 객관적으로 최적의 AGI를 정의한다.
• 작업을 극대화하기 위한 최적의 어휘를 선택하고 이를 바탕으로 AGI를 구성한 뒤 ASI를 정의한다.

제안 방법

• 에이전트, 몸, 환경을 결합하는 작업으로서의 인지를 형식화한다(인에이티브/팬컴퓨테이셔널리즘).
• 환경을 환경 내부에 모델링하여 작업을 핵심 모델링 대상으로 취급한다.
• 구현 가능한 언어(어휘)와 구현을 위한 유한한 감각운동 어휘를 정의한다.
• 작업의 설명과 의사결정을 기술하는 이진 작업 완료 기준과 선언적 프로그램 집합을 도입한다.
• 약점 기반 프록시(확장 Z_m의 크기)를 사용해 최적 가설을 선택한다.
• 최대 약점과 작업 일반화 특성에 기반한 객관적으로 최적의 AGI와 ASI의 정의를 제안한다.

실험 결과

연구 질문

• RQ1 인지가 평가에서 해석자(UTM)와 무관하게 형식화될 수 있는가?
• RQ2 인에이티브 인지와 팬컴퓨테이셔널리즘을 이용해 AGI와 ASI를 객관적으로 정의할 수 있는가?
• RQ3 설명 길이가 부적합한 경우 지능을 가장 잘 측정하는 프록시는 무엇이며 약점은 이 역할을 어떻게 수행하는가?
• RQ4 작업을 전체 환경이 아닌 유한한 구현 가능한 어휘 내에서 어떻게 정의하고 평가할 수 있는가?
• RQ5 유한하고 작업 중심적인 설정에서 성능을 어떻게 측정해야 일반화 속성을 반영하는가?

주요 결과

• AIXI의 명백한 Pareto 최적성은 해석자에 좌우된다; 해석자를 고정하면 주관성을 완화할 수 있지만 다른 문제를 야기한다.
• 인에이티브, 팬컴퓨테이셔널 프레임워크는 마음과 환경을 통합할 수 있으며 인지를 로컬 작업 중심 어휘 내에서 행위로 구성된 것으로 본다.
• 약점(모델 확장의 크기)을 일반화와 지능의 우수한 프록시로 주장한다.
• 환경 중심 모델링을 작업 중심 모델링으로 대체하기 위해 v-작업(어휘 기반 작업)의 형식적 개념을 도입한다.
• 객관적으로 최적의 AGI는 작업 어휘 내에서 최대 약점을 가진 가설이며, ASI는 주어진 작업에 대한 지능 값을 최대화하는 어휘를 선택한다.
• 프레임워크는 작업에 고유한 성능을 가지는 AGI/ASI 시스템을 정의, 비교, 심지어 엔지니어링하는 경로를 제공한다.