[논문 리뷰] Two Types of AI Existential Risk: Decisive and Accumulative

Atoosa Kasirzadeh|arXiv (Cornell University)|2024. 01. 15.

Space Science and Extraterrestrial Life인용 수 11

한 줄 요약

논문은 결정적(급격한) AI x-리스크와 누적적(점진적) AI x-리스크를 대조하고, AI 위험 거버넌스 및 안전 연구에서 두 경로를 통합하는 것을 옹호한다.

ABSTRACT

The conventional discourse on existential risks (x-risks) from AI typically focuses on abrupt, dire events caused by advanced AI systems, particularly those that might achieve or surpass human-level intelligence. These events have severe consequences that either lead to human extinction or irreversibly cripple human civilization to a point beyond recovery. This discourse, however, often neglects the serious possibility of AI x-risks manifesting incrementally through a series of smaller yet interconnected disruptions, gradually crossing critical thresholds over time. This paper contrasts the conventional "decisive AI x-risk hypothesis" with an "accumulative AI x-risk hypothesis." While the former envisions an overt AI takeover pathway, characterized by scenarios like uncontrollable superintelligence, the latter suggests a different causal pathway to existential catastrophes. This involves a gradual accumulation of critical AI-induced threats such as severe vulnerabilities and systemic erosion of economic and political structures. The accumulative hypothesis suggests a boiling frog scenario where incremental AI risks slowly converge, undermining societal resilience until a triggering event results in irreversible collapse. Through systems analysis, this paper examines the distinct assumptions differentiating these two hypotheses. It is then argued that the accumulative view can reconcile seemingly incompatible perspectives on AI risks. The implications of differentiating between these causal pathways -- the decisive and the accumulative -- for the governance of AI as well as long-term AI safety are discussed.

연구 동기 및 목표

• 결정적 및 누적 AI x-리스크 가설의 차이점을 대조한다.
• 인과 경로를 구분하기 위한 시스템 분석 프레임워크를 개발한다.
• x-리스크 거버넌스와 안전에 윤리적/사회적 AI 위험 고려를 통합할 것을 주장한다.
• 누적 관점을 구체화하기 위한 사례를 제공한다.

제안 방법

• AI 위험 경로에 대한 체계적이고 질적 분석.
• 경로의 비선형성, 연결성, 피드백 루프의 특성화.
• 결정적 ASI x-리스크와 누적형 AI x-리스크의 대조적 분석.
• 누적 위험을 설명하기 위한 완벽한 폭풍 MISTER 시나리오의 도입.
• 위험 상승 궤적을 대조하는 그래픽 개략도(그림 1).

실험 결과

연구 질문

• RQ1 AI가 존재적 재난을 일으킬 수 있는 뚜렷한 인과 경로는 무엇인가?
• RQ2 전 지구 시스템 내에서 비선형성, 연결성, 피드백 측면에서 결정적 가설과 누적 가설은 어떻게 다른가?
• RQ3 누적 관점이 상충되는 것으로 보이는 AI x-리스크에 대한 견해를 조화시키고 거버넌스에 정보를 제공할 수 있는가?
• RQ4 실무적 맥락에서 누적 AI x-리스크 관점을 구체화하는 사례는 무엇인가?

주요 결과

• AI x-리스크는 두 가지 인과 경로를 통해 발생할 수 있다: 결정적(급격한)과 누적적(점진적).
• 시스템 분석 렌즈는 비선형성, 연결성, 피드백 루프를 경로의 핵심 특징으로 강조한다.
• 결정적 x-리스크는 급속한 연쇄와 초연결 인프라를 강조하고; 누적적 x-리스크는 지역적 인과성, 선택적 연결성, 다방향 피드백을 강조한다.
• 본 논문은 사회적 영역 전반에 걸친 누적 위험을 구체화하기 위해 완벽한 폭풍 MISTER 시나리오를 도입한다 (조작, 불안정, 감시, 신뢰 약화, 경제적 불안정화, 권리 침해).
• 통합 거버넌스는 두 경로를 모두 고려하고 AI 사회적 위험을 장기 AI 안전의 필수 요소로 간주해야 한다.