[논문 리뷰] Artificial intelligence is algorithmic mimicry: why artificial "agents" are not (and won't be) proper agents

Johannes Jaeger|arXiv (Cornell University)|2023. 06. 27.

Computability, Logic, AI Algorithms인용 수 4

한 줄 요약

이 논문은 인공지능, 특히 '에이전트' 형태의 인공지능이 진정한 능동성보다는 알고리즘적 모방에 불과하다고 주장한다. 살아있는 시스템—자기 생성성, 몸이 있는 상태, 큰 세계에서 작동하는 시스템—과 알고리즘 시스템—외부에서 프로그래밍된, 하드웨어와 분리된, 작은 세계에 국한된 시스템—을 대비시켜, 현재의 AI 프레임워크는 자기 결정적 목표, 몸이 있는 상태, 적응 능력이 부족하여 진정한 인공통합지능(AGI)을 생성할 수 없다고 결론 내린다.

ABSTRACT

What is the prospect of developing artificial general intelligence (AGI)? I investigate this question by systematically comparing living and algorithmic systems, with a special focus on the notion of "agency." There are three fundamental differences to consider: (1) Living systems are autopoietic, that is, self-manufacturing, and therefore able to set their own intrinsic goals, while algorithms exist in a computational environment with target functions that are both provided by an external agent. (2) Living systems are embodied in the sense that there is no separation between their symbolic and physical aspects, while algorithms run on computational architectures that maximally isolate software from hardware. (3) Living systems experience a large world, in which most problems are ill-defined (and not all definable), while algorithms exist in a small world, in which all problems are well-defined. These three differences imply that living and algorithmic systems have very different capabilities and limitations. In particular, it is extremely unlikely that true AGI (beyond mere mimicry) can be developed in the current algorithmic framework of AI research. Consequently, discussions about the proper development and deployment of algorithmic tools should be shaped around the dangers and opportunities of current narrow AI, not the extremely unlikely prospect of the emergence of true agency in artificial systems.

연구 동기 및 목표

• 인공지능에서 '에이전트'가 본질적인 목표와 자율성을 지닌 진정한 에이전트라는 가정을 도전하기 위해.
• 진정한 능동성을 방해하는 살아있는 시스템과 알고리즘 시스템 간의 근본적 차이를 규명하기 위해.
• 현재 AI 연구가 AGI를 추구하는 데에 오류가 있으며, 실제로는 좁은 범위의 AI가 실세계에 끼치는 영향에 초점을 맞춰야 한다고 주장하기 위해.
• 자기 생성성, 몸이 있는 상태, 큰 세계 대 작은 세계 문제라는 세 핵심 차이를 통해 생물학적 능동성과 알고리즘적 시뮬레이션 간의 개념적 경계를 명확히 하기 위해.

제안 방법

• 자기 생성성의 관점에서 능동성 개념을 분석하여, 살아있는 시스템은 스스로를 생성하고 유지하는 반면 알고리즘 시스템은 외부 프로그래밍에 의존한다는 점을 밝히기 위해.
• 생물학적 시스템에서의 몸이 있는 상태—기호적 요소와 물리적 요소가 명확히 분리되지 않는 것—과 계산 시스템에서의 소프트웨어-하드웨어 분리 방식을 대비시켜 분석하기 위해.
• 자연에서의 정의되지 않은, 개방형 문제들로 이루어진 '큰 세계'와 알고리즘 계산에서의 잘 정의된, 폐쇄형 문제들로 이루어진 '작은 세계' 간의 차이를 구분하기 위해.
• 알고리즘 시스템이 내재된 목표나 정의된 기능을 초월해 의미 있게 적응할 수 없다는 점을 보여주기 위해 개념적·철학적 분석을 수행하기 위해.
• 시스템 이론과 인지과학의 통찰을 적용하여 현재 AI 아키텍처가 본질적으로 진정한 자율성을 달성할 수 없다고 주장하기 위해.
• 미래의 AGI에 대한 추측적 논의에서 벗어나, 실제 능력과 한계를 고려한 좁은 범위의 AI 도구의 책임감 있는 도입에 초점을 맞춘 AI 개발의 논의를 재구성하기 위해.

실험 결과

연구 질문

• RQ1 진정한 생물학적 능동성과 알고리즘적 모방 사이의 핵심 차이점은 무엇인가?
• RQ2 자기 생성성이 인공지능의 한계를 이해하는 데 핵심적인 이유는 무엇인가?
• RQ3 계산 시스템에서 소프트웨어와 하드웨어의 분리가 진정한 몸이 있는 상태의 출현을 방해하는 방식은 무엇인가?
• RQ4 자연의 '큰 세계' 문제와 알고리즘 AI의 '작은 세계' 가정은 어떤 방식으로 다를까?
• RQ5 외부에서 정의된 목표와 환경에 의존하는 현재의 AI 시스템이 얼마나 자율적인 에이전트로 간주될 수 있는가?

주요 결과

• 살아있는 시스템은 자기 생성성(self-producing, self-maintaining)을 지니며, 이는 스스로 내재된 목표를 설정할 수 있게 한다. 반면 알고리즘은 외부에서 정의된 목적 함수에 의존한다.
• 생물학적 시스템은 기호적 요소와 물리적 과정 사이에 명확한 경계가 없이 본질적으로 몸이 있는 상태를 지닌다. 반면 계산 시스템은 소프트웨어와 하드웨어를 분리함으로써 이러한 특성을 잃는다.
• 살아있는 시스템은 대부분의 문제가 정의되지 않으며 완전히 기술할 수 없는 '큰 세계'에서 작동하지만, 알고리즘은 모든 문제가 잘 정의되고 계산 가능한 '작은 세계'에서 작동한다.
• 이 세 가지 차이—자기 생성성, 몸이 있는 상태, 세계 유형—이 함께 존재할 경우, 알고리즘 시스템은 복잡성이 얼마나 높든 간에 진정한 능동성을 달성할 수 없다는 결론이 도출된다.
• 논문은 현재 알고리즘 기반의 AI 연구 틀 내에서 진정한 인공통합지능(AGI)이 매우 어렵다는 결론을 내린다.
• 따라서 정책 및 연구의 초점은 추측적인 진정한 자율성을 지닌 인공에이전트의 출현보다는 좁은 범위의 AI가 실세계에서 끼치는 실제 위험과 이점에 맞춰져야 한다.