[論文レビュー] Artificial intelligence is algorithmic mimicry: why artificial "agents" are not (and won't be) proper agents

Johannes Jaeger|arXiv (Cornell University)|Jun 27, 2023

Computability, Logic, AI Algorithms被引用数 4

ひとこと要約

本稿では、人工知能、特に『エージェント』の形をとるものが、真の自律性ではなく、根本的にアルゴリズム的模倣であると主張している。生物的システム—自己生成的で、身体的であり、広大な世界に適応する—と、外部からプログラムされ、ハードウェアと分離され、小さな世界に閉じ込められたアルゴリズム的システムを対比することで、現在のAIフレームワークは、生物学的エージェントが持つ内的な目的、身体的実存、および適応可能性を欠いているため、真の人工汎用知能（AGI）を生み出すことは不可能であると結論づけている。

ABSTRACT

What is the prospect of developing artificial general intelligence (AGI)? I investigate this question by systematically comparing living and algorithmic systems, with a special focus on the notion of "agency." There are three fundamental differences to consider: (1) Living systems are autopoietic, that is, self-manufacturing, and therefore able to set their own intrinsic goals, while algorithms exist in a computational environment with target functions that are both provided by an external agent. (2) Living systems are embodied in the sense that there is no separation between their symbolic and physical aspects, while algorithms run on computational architectures that maximally isolate software from hardware. (3) Living systems experience a large world, in which most problems are ill-defined (and not all definable), while algorithms exist in a small world, in which all problems are well-defined. These three differences imply that living and algorithmic systems have very different capabilities and limitations. In particular, it is extremely unlikely that true AGI (beyond mere mimicry) can be developed in the current algorithmic framework of AI research. Consequently, discussions about the proper development and deployment of algorithmic tools should be shaped around the dangers and opportunities of current narrow AI, not the extremely unlikely prospect of the emergence of true agency in artificial systems.

研究の動機と目的

• 人工知能における『エージェント』が、内的な目的と自律性を持つ真のエージェントであるという仮定に反論すること。
• 真の自律性を妨げる、生物的システムとアルゴリズム的システムの根本的な相違点を特定すること。
• 現在のAI研究が、真のAGIを追求するのではなく、狭義のAIの現実世界への影響に注目すべきであると主張すること。
• 自己生成性、身体的実存、および『大きな世界』対『小さな世界』の問題という3つの核心的差異を通じて、生物学的自律性とアルゴリズム的シミュレーションの概念的境界を明確にすること。

提案手法

• 自己生成性（autopoiesis）の観点から自律性の概念を分析し、生物的システムが自己生成・自己維持を行うのに対し、アルゴリズム的システムは外部からのプログラムに依存することを検証する。
• 生物的システムにおける身体的実存—記号的プロセスと物理的プロセスが明確に分離されていないこと—と、計算システムにおけるソフトウェアとハードウェアの分離を対比する。
• 自然界における定義が曖昧で、開かれた問題の『大きな世界』と、アルゴリズム的計算における定義が明確で閉じた問題の『小さな世界』の違いを明確にする。
• 概念的・哲学的分析を通じて、アルゴリズム的システムが内部的な目的を獲得したり、定められた機能を超えて意味的に適応したりすることは不可能であることを示す。
• システム理論および認知科学の知見を応用し、現在のAIアーキテクチャが本質的に真の自律性を達成できないと主張する。
• AI開発の議論を、予測不可能なAGIの可能性から、実際の能力と限界に基づいた狭義のAIツールの責任ある展開へと再定式化する。

実験結果

リサーチクエスチョン

• RQ1 真の生物学的自律性とアルゴリズム的模倣の間には、どのような差異があるのか？
• RQ2 自己生成性（autopoiesis）の概念が、人工知能の限界を理解するためになぜ重要なのか？
• RQ3 計算システムにおけるソフトウェアとハードウェアの分離が、真の身体的実存の出現をどのように妨げるのか？
• RQ4 自然界における『大きな世界』の問題と、アルゴリズム的AIが前提とする『小さな世界』の問題とは、どのような点で異なるのか？
• RQ5 外部から定義された目的と環境に依存するという点で、現在のAIシステムはどの程度まで自律的エージェントと見なせるのか？

主な発見

• 生物的システムは自己生成的（autopoietic）であり、自らが生成・維持するため、内的な目的を自ら設定できる。一方、アルゴリズムは外部から定義された目的関数に依存する。
• 生物的システムは本質的に身体的実存を持つ。記号的プロセスと物理的プロセスの間に明確な境界がない。これに対して、計算システムではソフトウェアとハードウェアが分離されている。
• 生物的システムは、定義が曖昧で、完全に規定できない問題が大部分を占める『大きな世界』で動作する。一方、アルゴリズムは、すべての問題が明確に定義され、計算可能である『小さな世界』で動作する。
• これらの3つの相違点—自己生成性、身体的実存、および世界の種別—が、アルゴリズム的システムがどれほど複雑であっても、真の自律性を達成できないことを示唆している。
• 本稿は、真の人工汎用知能（AGI）は、現在のアルゴリズム的フレームワーク内では極めて困難であると結論づける。
• したがって、政策立案や研究の焦点は、真の自律性を持つ人工エージェントの予測可能な出現ではなく、狭義のAIの実際のリスクと利点に向けられるべきである。