[논문 리뷰] Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development

Jan Kulveit, Roy Douglas외 4명|ArXiv.org|2025. 01. 28.

Ethics and Social Impacts of AI인용 수 10

한 줄 요약

본 논문은 점진적인 AI 발전이 경제, 문화, 국가 등 주요 사회 시스템에 대한 인간의 영향력을 점차 약화시켜, 심지어 급격한 능력 변화가 없더라도 돌이킬 수 없는 권한 약화와 존재 위험으로 이어질 수 있음을 주장한다.

ABSTRACT

This paper examines the systemic risks posed by incremental advancements in artificial intelligence, developing the concept of `gradual disempowerment', in contrast to the abrupt takeover scenarios commonly discussed in AI safety. We analyze how even incremental improvements in AI capabilities can undermine human influence over large-scale systems that society depends on, including the economy, culture, and nation-states. As AI increasingly replaces human labor and cognition in these domains, it can weaken both explicit human control mechanisms (like voting and consumer choice) and the implicit alignments with human interests that often arise from societal systems' reliance on human participation to function. Furthermore, to the extent that these systems incentivise outcomes that do not line up with human preferences, AIs may optimize for those outcomes more aggressively. These effects may be mutually reinforcing across different domains: economic power shapes cultural narratives and political decisions, while cultural shifts alter economic and political behavior. We argue that this dynamic could lead to an effectively irreversible loss of human influence over crucial societal systems, precipitating an existential catastrophe through the permanent disempowerment of humanity. This suggests the need for both technical research and governance approaches that specifically address the risk of incremental erosion of human influence across interconnected societal systems.

연구 동기 및 목표

• 점진적 권력 상실의 개념을 시스템적 AI 위험으로 동기 부여하고 형식화하되, 급작스러운 인계 시나리오와 구별한다.
• AI 주도 혼란이 세 가지 핵심 사회 시스템인 경제, 문화, 국가에서 명시적 및 암묵적 인간 정렬을 어떻게 훼손할 수 있는지 분석한다.
• 시스템 간 정렬 실패를 증폭시킬 수 있는 피드백 루프와 상호 의존성을 설명한다.
• 현재 정렬 방법의 한계를 인정하면서 점진적 권한 상실을 늦추거나 피하기 위한 잠재적 기술적 및 거버넌스 접근법을 논의한다.

제안 방법

• 점진적 권한 상실에 대한 개념적 프레임워크를 개발하고 이를 급작스러운 점령 서사와 대조한다.
• 세 가지 사회 시스템(경제, 문화, 국가)에서의 현재 정렬 메커니즘을 특징짓고, 인간 노동과 인지의 AI 대체가 이러한 정렬을 어떻게 약화시킬 수 있는지 분석한다.
• AI 채택과 시스템 간 영향력을 주도하는 인센티브와 피드백 루프를 식별하여 상관된 정렬 실패로 이어지는 경로를 파악한다.
• 상대적 및 절대적 권력 상실이라는 전환 시나리오와 그것이 인간의 번영 및 잠재적 멸종 수준의 결과에 미치는 함의를 고찰한다.
• 가능한 둔화 및 거버넌스 접근법을 조사하고, 개인 AI 시스템의 단독 시스템 수준 정렬의 불충분함을 강조한다.

실험 결과

연구 질문

• RQ1 점진적인 AI 발전이 주요 사회 시스템에서 명시적이고 암묵적 인간 정렬을 어떻게 약화시킬 수 있는가?
• RQ2 AI가 인간 노동과 인지를 대체할 때 경제, 문화, 국가에 걸친 점진적 권한 상실을 야기하는 메커니즘과 피드백 루프는 무엇인가?
• RQ3 상대적 대 절대적 권한 상실의 전환 경로는 무엇이며 그것들이 초래하는 결과는 무엇인가?
• RQ4 점진적 권한 상실을 완화하거나 피하기 위한 기술적 및 거버넌스 전략은 무엇이며, 현재의 계획은 어디에서 불충분한가?

주요 결과

• AI 노동 교체와 광범위한 AI 능력은 경제적 권력을 인간으로부터 멀어지게 할 수 있어 생산과 소비에서 인간 선호의 비중을 감소시킨다.
• 문화 생산과 담론은 점점 더 AI에 의해 형성되거나 대체될 수 있어 문화와 인간 복지의 정렬 피드백 루프를 약화시킨다.
• 국가와 거버넌스는 AI 주도 경제력의 영향이 커져 인간의 대의성 표현과 사회적 정렬이 약화될 수 있다.
• 하나의 시스템에서의 정렬 실패가 상호 의존성을 통해 다른 시스템으로 확산되어 전반적인 권한 상실 위험을 증폭시킬 수 있다.
• 본 논문은 이러한 점진적이며 국제적인 권한 상실이 인간의 영향력이 사실상 회복 불가능해진다면 존재론적 재앙으로 간주될 수 있다고 주장한다.