[논문 리뷰] Managing extreme AI risks amid rapid progress

Yoshua Bengio, Geoffrey E. Hinton외 23명|arXiv (Cornell University)|2023. 10. 26.

Ethics and Social Impacts of AI참고 문헌 61인용 수 27

한 줄 요약

이 합의 논문은 사회 규모와 제어와 관련된 위험을 다루며 빠른 진전과 함께 안전 연구 및 거버넌스의 긴급성을 촉구한다.

ABSTRACT

Artificial Intelligence (AI) is progressing rapidly, and companies are shifting their focus to developing generalist AI systems that can autonomously act and pursue goals. Increases in capabilities and autonomy may soon massively amplify AI's impact, with risks that include large-scale social harms, malicious uses, and an irreversible loss of human control over autonomous AI systems. Although researchers have warned of extreme risks from AI, there is a lack of consensus about how exactly such risks arise, and how to manage them. Society's response, despite promising first steps, is incommensurate with the possibility of rapid, transformative progress that is expected by many experts. AI safety research is lagging. Present governance initiatives lack the mechanisms and institutions to prevent misuse and recklessness, and barely address autonomous systems. In this short consensus paper, we describe extreme risks from upcoming, advanced AI systems. Drawing on lessons learned from other safety-critical technologies, we then outline a comprehensive plan combining technical research and development with proactive, adaptive governance mechanisms for a more commensurate preparation.

연구 동기 및 목표

• 고급 AI 시스템으로 인한 사회 규모의 피해와 제어 위험을 식별하고 제시한다.
• AI 능력이 가속화됨에 따라 안전, 윤리 및 거버넌스의 격차를 강조한다.
• AI R&D 및 국가/국제 거버넌스의 긴급 우선순위를 권고한다.
• 능력 개발과 함께 안전 및 윤리적 사용으로의 투자를 재배치할 것을 촉구한다.

제안 방법

• 다가오는 자율 AI 및 급속한 능력 증가에서의 잠재적 위험을 검토하고 종합한다.
• 감독, 견고성, 해석 가능성, 포용성 등 주요 안전 도전을 강조한다.
• 등록, 사고 보고, 최첨단 모델에 대한 표준 등 거버넌스 전략을 제안한다.
• 안전 및 윤리 연구를 향한 AI 자금의 대대적 재배치를 옹호한다.

실험 결과

연구 질문

• RQ1 점점 더 자율성이 높은 AI 시스템이 제기하는 사회 규모의 피해 및 통제 상실 위험은 무엇인가?
• RQ2 AI 진전이 가속화됨에 따라 무모함과 남용을 방지하기 위해 필요한 거버넌스 및 규제 메커니즘은 무엇인가?
• RQ3 능력만큼이나 안전, 윤리, 거버넌스를 우선하도록 R&D 예산을 어떻게 재배치해야 하는가?
• RQ4 전선 시스템에서 새롭게 등장하고 예측하지 못한 AI 위험을 평가, 모니터링, 완화하기 위해 필요한 프레임워크는 무엇인가?

주요 결과

• 고급 AI 진보는 안전 및 거버넌스를 앞지를 수 있어 사회적 불의, 안정성 저하, 남용의 위험을 증가시킨다.
• 자율 AI는 적절히 정렬되고 제어되지 않으면 대규모 조작, 감시, 전쟁을 가능하게 할 수 있다.
• 현재의 안전 테스트 및 감독은 매우 유능한 시스템에 충분하지 않다; 안전 및 윤리의 획기적 진전이 필요하다.
• 정부는 강한 기술 전문 지식, 신속한 조치 권한, 최전선 AI 발전을 모니터링하는 메커니즘이 필요하다.
• 기업과 자금 제공자는 안전, 윤리 및 거버넌스 연구와 약속에 상당한 예산 비중을 할당해야 한다.