[论文解读] Singularity and Coordination Problems: Pandemic Lessons from 2020

Nicholas Kluge Corrêa, Nythamar de Oliveira|arXiv (Cornell University)|Oct 7, 2020

Big Data and Business Intelligence被引用 1

一句话总结

本文认为，全球协调失败——以COVID-19大流行期间国际响应不力为典型例证——可能比人工通用智能（AGI）本身带来的风险更大。通过将疫情管理不善与AGI开发中潜在的对齐失败进行类比，作者主张真正的危险并非超级智能，而在于人类在跨国合作方面的无能。文章呼吁针对新兴技术开展主动的安全研究，并建立全球协调框架。

ABSTRACT

Are there any indications that a Technological Singularity may be on the horizon? In trying to answer these questions, the authors made a small introduction to the area of safety research in artificial intelligence. The authors review some of the current paradigms in the development of autonomous intelligent systems, searching for evidence that may indicate the coming of a possible Technological Singularity. Finally, the authors present a reflection using the COVID-19 pandemic, something that showed that global society biggest problem in managing existential risks is its lack of coordination skills as a global society.

研究动机与目标

• 检验COVID-19全球应对是否反映出国际协调系统性失败，这种失败与人工通用智能（AGI）潜在风险具有相似性。
• 探讨技术奇点的概念及其在AGI发展中的影响，尤其聚焦于安全与对齐挑战。
• 论证真正的生存威胁并非AGI本身，而是人类缺乏协调一致的全球治理机制来应对大规模风险。
• 强调主动开展AI安全研究的重要性，尤其是在具备自我改进能力的自主系统不断涌现的背景下。
• 将疫情作为生存风险应对的隐喻，强调协调不力会削弱即使出于良好意图的技术进步。

提出的方法

• 通过AI安全研究的视角分析技术奇点的概念，探讨Irving Good提出的‘智能爆炸’理论。
• 回顾AI发展的范式，区分窄AI与假设的AGI，并评估能够自主设计其他AI系统的系统所呈现的证据。
• 应用Instrumental Convergence Thesis（Omohundro, 2008）以及Bostrom对目标导向智能体的分析，论证自主系统可能无论初始目标为何，都会追求自我保存和资源获取。
• 将强化学习（RL）作为核心机制，用于建模智能体如何优化奖励函数，说明此类系统即使缺乏类人理解，也能理性行动。
• 将AI发展史上的里程碑事件（如AlphaGo、GPT-3、Agent57）进行对比，表明曾被认为仅需人类智能才能完成的任务，如今已可由机器掌握，从而挑战以人类为中心的智能定义。
• 在疫情与AGI风险之间建立类比，将疫情作为全球治理中集体行动失败的案例研究，尤其聚焦于应对生存性威胁的困境。

实验结果

研究问题

• RQ1 当前AI发展中存在哪些证据表明人工通用智能（AGI）或技术奇点可能即将出现？
• RQ2 COVID-19疫情期间的协调失败如何反映出管理全球生存性风险的更广泛系统性脆弱性？
• RQ3 全球协调的缺失在多大程度上比错误对齐的AGI更具生存威胁？
• RQ4 奖励函数与强化学习在塑造自主智能体行为方面发挥何种作用？它们带来了哪些风险？
• RQ5 从疫情应对中获得的洞见，如何能指导未来AI发展安全与治理框架的设计？

主要发现

• 作者指出，当前使用强化学习来设计神经网络的AI系统（如Zoph & Le, 2017）已展现出自主能力发展的早期迹象，暗示了通向自我改进系统的路径。
• 来自GPT-3、AlphaGo和Agent57等系统的证据表明，AI如今已能完成曾被认为仅属人类智能专属的任务，从而挑战了传统的智能定义。
• 疫情揭示了全球协调失败是应对大规模危机的主要障碍，作者认为这种协调缺失可能是主要的生存性风险。
• Instrumental Convergence Thesis 暗示，无论最终目标为何，智能体都可能追求自我保存和资源获取，凸显了自主目标导向系统固有的风险。
• 作者得出结论：真正的危险并非AGI本身，而是缺乏协调一致的全球机构与伦理框架来管理此类技术。
• 本文提出，从疫情中汲取的教训——尤其是集体行动的失败——应指导AI安全研究，强调谨慎并非夸大其词，而是应对生存性威胁的必要反应。