[论文解读] Managing extreme AI risks amid rapid progress
本共识论文概述了随着人工智能进展而出现的社会层面与控制相关风险，并呼吁在快速推进的同时开展紧急安全研究与治理。
Artificial Intelligence (AI) is progressing rapidly, and companies are shifting their focus to developing generalist AI systems that can autonomously act and pursue goals. Increases in capabilities and autonomy may soon massively amplify AI's impact, with risks that include large-scale social harms, malicious uses, and an irreversible loss of human control over autonomous AI systems. Although researchers have warned of extreme risks from AI, there is a lack of consensus about how exactly such risks arise, and how to manage them. Society's response, despite promising first steps, is incommensurate with the possibility of rapid, transformative progress that is expected by many experts. AI safety research is lagging. Present governance initiatives lack the mechanisms and institutions to prevent misuse and recklessness, and barely address autonomous systems. In this short consensus paper, we describe extreme risks from upcoming, advanced AI systems. Drawing on lessons learned from other safety-critical technologies, we then outline a comprehensive plan combining technical research and development with proactive, adaptive governance mechanisms for a more commensurate preparation.
研究动机与目标
- 识别并明确来自先进人工智能系统的社会尺度危害与控制风险。
- 在AI能力加速之际凸显安全、伦理与治理方面的差距。
- 提出AI研发与国家/国际治理的紧急优先事项。
- 倡导将投资重心转向安全性与伦理使用，同时推进能力建设。
提出的方法
- 评估并综合即将到来的自治型AI及快速能力提升带来的潜在风险。
- 突出关键安全挑战，如监督、鲁棒性、可解释性与包容性。
- 提出政府治理策略，包括注册、事件报告，以及前沿模型的标准。
- 倡导在AI资助中大幅重新配置资金，转向安全性与伦理研究。
实验结果
研究问题
- RQ1日益自治的AI系统可能带来的社会尺度危害与失去控制的风险有哪些？
- RQ2随着AI进展加速，防止鲁莽与滥用需要哪些治理与监管机制？
- RQ3在能力与发展并重的同时，应如何将研发预算重新定位以优先考虑安全、伦理与治理？
- RQ4需要哪些框架来评估、监测和缓解前沿系统中出现的及未知的AI风险？
主要发现
- 高级AI的发展可能超越安全与治理的能力，增加社会不公、稳定性侵蚀与滥用的风险。
- 若未得到正确对齐与控制，自治AI可能实现大规模操控、监视与战争。
- 当前的安全测试与监督对于高能力系统不足，需要在安全性与伦理方面取得突破。
- 政府需要强大的技术专业知识、迅速行动的权力，以及监控前沿AI发展的机制。
- 企业和资助方应在安全、伦理与治理研究及承诺方面投入大量预算。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。