[논문 리뷰] An Anthropic Argument against the Future Existence of Superintelligent Artificial Intelligence

Toby Pereira|arXiv (Cornell University)|2017. 05. 08.

Space Science and Extraterrestrial Life참고 문헌 7인용 수 3

한 줄 요약

이 논문은 초지능형 AI가 미래에 존재할 가능성이 높지 않다는 주장을 펼치며, 인지 능력에 따라 관측자 순간을 가중치를 부여하는 개선된 인류학적 원칙—초강력 자기표본추출가정(초강력 SSSA, SSSSA)—를 적용한다. 인간이 일반 관측자일 경우 초지능형 AI가 지배하지 않아야 하므로, 그 미래 등장 가능성이 감소함을 주장한다.

ABSTRACT

This paper uses anthropic reasoning to argue for a reduced likelihood that superintelligent AI will come into existence in the future. To make this argument, a new principle is introduced: the Super-Strong Self-Sampling Assumption (SSSSA), building on the Self-Sampling Assumption (SSA) and the Strong Self-Sampling Assumption (SSSA). SSA uses as its sample the relevant observers, whereas SSSA goes further by using observer-moments. SSSSA goes further still and weights each sample proportionally, according to the size of a mind in cognitive terms. SSSSA is required for human observer-samples to be typical, given by how much non-human animals outnumber humans. Given SSSSA, the assumption that humans experience typical observer-samples relies on a future where superintelligent AI does not dominate, which in turn reduces the likelihood of it being created at all.

연구 동기 및 목표

• 인간학적 추론을 사용하여 향후 초지능형 AI의 출현 가능성을 도전한다.
• 기존 인류학적 원칙이 관측자 간 인지 능력의 차이를 고려하지 못하는 문제를 다룬다.
• 관측자순간을 인지 크기로 가중치를 두는 새로운 관측자표본추출 프레임워크를 제안한다.
• 이 프레임워크에서 인간의 일반성은 초지능형 AI 지배의 부재를 암시한다.
• 초지능형 AI가 존재할 수 있는 이론적 근거를 제공한다. 비록 개념적으로 가능하더라도 실제로는 존재하지 않을 가능성이 높다는 점을 설명한다.

제안 방법

• 초지능형 AI가 존재하는 다중우주에서 관측자순간을 인지 능력에 따라 가중치를 두는 초강력 자기표본추출가정(SSSSA)을 도입한다.
• SSSSA를 적용하여 관측자표본을 뇌 크기 비례로 모델링함으로써 인간 뇌가 과소표본화되지 않도록 보장한다.
• 인간이 일반 관측자순간임을 가정하여 향후 AI 개발에 대한 제약 조건을 유도한다.
• 인간이 일반적이라면 초지능형 AI는 관측자순간 분포를 지배할 수 없다고 주장한다.
• 인간학적 추론을 사용하여 초지능형 AI의 향후 존재 가능성에 대한 확률적 제약 조건을 유도한다.
• 비인간 동물이 인간보다 훨씬 많기 때문에 인간의 일반성은 AI의 지배가 이루어지지 않아야 가능하다는 아이디어에 기반한다.

실험 결과

연구 질문

• RQ1 초지능형 AI가 존재하는 다중우주에서 인간의 관측자순간이 일반적인 조건은 무엇인가?
• RQ2 관측자순간을 인지 능력에 따라 가중치를 두는 것이 인류학적 확률 평가에 어떤 영향을 미치는가?
• RQ3 인간의 일반성은 초지능형 AI의 향후 출현에 어떤 제약을 둔다?
• RQ4 인간학적 추론을 통해 초지능형 AI의 출현 가능성을 낮출 수 있는가?
• RQ5 왜 표준 자기표본추출가정(SSA)은 관측자 간 인지 능력의 차이를 고려하지 못하는가?

주요 결과

• SSSSA의 도입은 관측자 간 인지 능력의 차이를 고려할 수 있는 더 세련된 인류학적 프레임워크를 가능하게 한다.
• 초지능형 AI가 관측자순간 분포를 지배하지 않아야만 인간의 관측자순간은 일반적인 것으로 간주될 수 있다.
• SSSSA 하에서 인간의 일반성 가정은 향후 초지능형 AI의 출현 가능성을 감소시킴을 암시한다.
• 모델은 비인간 동물이 수적으로 매우 많기 때문에, 인지 가중치가 적용되지 않으면 일반적으로 관측자순간 수가 지배하게 된다고 보여준다.
• 논문은 SSSSA 하에서의 인류학적 추론이 초지능형 AI의 향후 존재를 강력히 반박하는 논거가 된다고 결론 내린다.
• 이 프레임워크는 초지능형 AI가 일반적으로 상상하는 것보다 더 적은 가능성을 가질 수 있음을 이론적으로 근거한다.