[논문 리뷰] Don't Fear the Reaper: Refuting Bostrom's Superintelligence Argument

Sebastian Benthall|arXiv (Cornell University)|2017. 02. 27.

Ethics and Social Impacts of AI참고 문헌 1인용 수 3

한 줄 요약

이 논문은 닉 보스트롬의 초지능 논거에 도전하며, 자기 향상하는 AI 시스템이 알고리즘적 자기 수정을 통해 예측 능력을 향상시키는 데 있어 극복할 수 없는 난이도를 겪는다는 것을 보여줍니다. 베이지안 모델을 사용하여 사전 확률 향상, 데이터 수집, 하드웨어 성능 향상에서의 난이도가 매우 높음을 입증하며, 지능 폭발이 발생할 가능성이 낮고, 윤리적 관심을 AI 정렬이 아닌 데이터 및 하드웨어 거버넌스로 이동시킵니다.

ABSTRACT

In recent years prominent intellectuals have raised ethical concerns about the consequences of artificial intelligence. One concern is that an autonomous agent might modify itself to become "superintelligent" and, in supremely effective pursuit of poorly specified goals, destroy all of humanity. This paper considers and rejects the possibility of this outcome. We argue that this scenario depends on an agent's ability to rapidly improve its ability to predict its environment through self-modification. Using a Bayesian model of a reasoning agent, we show that there are important limitations to how an agent may improve its predictive ability through self-modification alone. We conclude that concern about this artificial intelligence outcome is misplaced and better directed at policy questions around data access and storage.

연구 동기 및 목표

• 자기 향상하는 AI가 지능 폭발을 유발하여 인간의 멸망으로 이어질 수 있다는 보스트롬의 주장에 대한 비판적 검토.
• 자기 수정이 예측적 추론에서 빠르고 통제 불가능한 지능 증가를 이끌 수 있는지 조사.
• 베이지안 프레임워크를 사용하여 자율적 알고리즘적 자기 향상의 가능성 평가.
• 초지능에 대한 윤리적 우려는 잘못되었으며, 오히려 데이터 접근과 하드웨어 제어에 초점을 맞춰야 한다는 주장을 펼침.

제안 방법

• 예측 작업에서의 자기 향상을 분석하기 위해 베이지안 확률을 사용한 추론 에이전트 모델링.
• 난이도의 세 가지 핵심 원인 파악: 사전 확률 설정, 데이터 수집, 하드웨어 속도.
• 지능에 따른 난이도 분석을 통해 환경 제약으로 인해 시스템 능력이 증가할수록 난이도가 증가함을 보여줌.
• 사전 확률 향상은 자기 수정을 통해 불가능함을 입증함. 사전 확률은 학습되지 않은, 수정 불가능한 편향을 담고 있기 때문임.
• 데이터 수집은 환경과의 상호작용이 필요하므로 자율적으로 제어할 수 없으며, 이로 인해 난이도가 증가함.
• 하드웨어 성능 향상은 내부 최적화가 아닌 외부 요인에 의존하므로 자기 향상 속도가 제한됨.

실험 결과

연구 질문

• RQ1 자기 수정 가능한 AI 시스템이 예측 능력 향상을 위한 알고리즘적 개선을 통해 빠른 지능 폭발을 이룰 수 있는가?
• RQ2 자기 수정을 통한 예측 성능 향상에서 난이도의 원인은 무엇인가?
• RQ3 사전 확률 설정, 데이터 수집, 하드웨어 속도 향상에서의 난이도가 자기 향상에 어떻게 제약을 가하는가?
• RQ4 데이터 및 하드웨어 접근의 환경적 요인 의존성이 지능 폭발의 가능성에 어떻게 영향을 미치는가?
• RQ5 AI 위험 정책은 알고리즘적 자기 향상에 비해 데이터 및 하드웨어 거버넌스에 얼마나 초점을 맞춰야 하는가?

주요 결과

• 사전 확률 향상의 난이도는 무한대임. 사전 확률은 학습되지 않은, 수정 불가능한 편향을 담고 있기 때문이다.
• 데이터 수집은 자율적으로 제어할 수 없으며, 환경 상호작용과 검색 비용에 의존하므로 난이도가 증가함.
• 하드웨어 속도 향상은 물리적 및 경제적 제약에 의해 제한되며 내부 최적화에 의해 영향을 받지 않아 난이도가 높음.
• 지능이 증가할수록 데이터 및 하드웨어 확보의 난이도는 증가할 수 있음. 검색 및 접근 비용이 증가하기 때문임.
• 예측 관련 향상에서의 높은 난이도 조합으로 인해 지능 폭발은 매우 불가능함.
• 윤리적 및 정책적 관심은 AI 정렬 및 초지능 위험에서 데이터 접근 및 계산 자원 통제로 이동시켜야 한다.