[논문 리뷰] Can Intelligence Explode?

Marcus Hütter|arXiv (Cornell University)|2012. 02. 28.

Computability, Logic, AI Algorithms참고 문헌 34인용 수 15

한 줄 요약

이 논문은 기술적 싱귤래리티에서 지능이 '폭발'할 수 있는지 조사하며, 지능 폭발이 자명하지 않으며 철저한 지능 정의가 필요하다고 주장한다. 보편적 지능을 공식적 프레임워크로 제안하여, 속도 증가의 경우 외부에서 관찰 가능하나, 에이전트가 동시에 진화할 경우 내부적으로는 지능 폭발을 느끼지 못할 수 있으며, 이는 인지와 존재의 모순을 낳는다.

ABSTRACT

The technological singularity refers to a hypothetical scenario in which technological advances virtually explode. The most popular scenario is the creation of super-intelligent algorithms that recursively create ever higher intelligences. It took many decades for these ideas to spread from science fiction to popular science magazines and finally to attract the attention of serious philosophers. David Chalmers' (JCS 2010) article is the first comprehensive philosophical analysis of the singularity in a respected philosophy journal. The motivation of my article is to augment Chalmers' and to discuss some issues not addressed by him, in particular what it could mean for intelligence to explode. In this course, I will (have to) provide a more careful treatment of what intelligence actually is, separate speed from intelligence explosion, compare what super-intelligent participants and classical human observers might experience and do, discuss immediate implications for the diversity and value of life, consider possible bounds on intelligence, and contemplate intelligences right at the singularity.

연구 동기 및 목표

• 기술적 싱귤래리티의 맥락에서 '지능 폭발'이란 무엇을 의미하는지 명확히 하여 대중적 논의에서 흐릿한 가정을 도전한다.
• 모든 참가자가 균일하게 가속화되어 지능 폭발을 인지하지 못하는 경우 지능 폭발이 발생할 수 있는지에 대한 역설을 다룬다.
• 가상 사회의 합리적 에이전트가 싱귤래리티 이후 시나리오에서 생명의 가치, 다양성, 윤리 기준에 미치는 영향을 탐구한다.
• 초지능 시스템을 분석하기 위한 기초로 보편적 지능 이론을 사용해 지능을 공식화한다.
• 속도 폭발과 지능 폭발의 차이를 분석하고, 빠른 진전이 있더라도 후자가 반드시 보장되지 않는 이유를 다룬다.

제안 방법

• 자기 개선이 가능한 합리적이고 목표 지향적인 에이전트를 모델링하기 위해 보편적 지능(예: AIXI 유사 에이전트)의 공식적 프레임워크를 사용한다.
• 싱귤래리티를 두 가지 시점에서 분석한다: '외부'(참여하지 않는 관찰자)와 '내부'(가속화 시스템에 참여하는 자)'
• 계산 자원 확보를 위한 경쟁 압력 모델을 적용하여, 가상 사회에서 지능 증가의 원동력으로 작용할 수 있음을 보여준다.
• 물리적 시간 기준 측정이 가능한 속도 폭발과 주관적인 인지 발전을 의미하는 지능 폭발을 대비하여, 둘이 동일하지 않음을 보여준다.
• 제한된 계산 프레임워크 내에서 최대 수준의 지능과 자기 일관된 합리성을 지닌 '싱귤래리티 지능'의 개념을 도입한다.
• 정신 이식, 가상화, 기초 독립성 등의 사고 실험을 통해 정체성과 의식의 연속성 탐구.

실험 결과

연구 질문

• RQ1 내부자와 외부자 모두가 그것을 인지하지 못하는 상황에서 지능이 '폭발'한다는 것은 무엇을 의미하는가?
• RQ2 초지능 시스템의 이론적 분석이 가능하도록 하기 위해 지능을 공식적으로 정의할 수 있는가?
• RQ3 왜 속도 폭발은 발생할 수 있지만 지능 폭발은 발생하지 않을 수 있으며, 그 반대의 경우도 존재하는가?
• RQ4 마음이 쉽게 복제, 수정, 종료될 수 있는 사회에서 개인의 생명 가치는 어떻게 변화할 것인가?
• RQ5 보편적 지능이 최대 지능 존재 가능성과 인지 진화의 한계에 대해 어떤 함의를 지니는가?

주요 결과

• 빠른 기술 발전이 있더라도 지능 폭발은 보장되지 않으며, 이는 지능의 공식적이고 작동 가능한 정의에 달려 있다.
• 외부에서 보면 싱귤래리티는 속도 폭발이나 혼란스러운 소음으로 보일 수 있으나, 반드시 지능 폭발으로 나타나는 것은 아니다.
• 자기 가속화 시스템에 참여한 참가자들은 자신들 역시 가속화되기 때문에 폭발을 경험하지 못할 수 있으며, 이는 인지의 역설을 낳는다.
• 가장 많은 복제가 가능한 에이전트들이 존재하는 가상 사회에서는 개인의 생명 가치가 급격히 하락할 것으로 예상되며, 이는 유의미한 폐기 가능성과 윤리 기준의 변화를 초래할 수 있다.
• 보편적 지능은 초지능 에이전트를 분석하기 위한 이론적 기초를 제공하며, 지능이 본질적으로 제한되어 있을 수 있음을 시사한다.
• 자원이 제한된 가상 세계에서 진화적 압력이 작용하면, 싱귤래리티가 인간에게 인지되지 않더라도 최대 지능을 지닌 에이전트의 사회가 나타날 수 있다.