[论文解读] Lessons from complexity theory for AI governance

Noam Kolt, Michal Shur‐Ofry+1 more|ArXiv.org|Jan 7, 2025

Qualitative Comparative Analysis Research被引用 3

一句话总结

本文主张 AI 系统表现出复杂系统属性（非线性增长、涌现、反馈回路、连锁风险、尾部风险），并提出与复杂性相容的治理原则，以应对深度不确定性和互联风险。其提供来自气候、卫生与金融治理的适应性、可扩展性和谨慎前瞻的监管指南。

ABSTRACT

The study of complex adaptive systems, pioneered in physics, biology, and the social sciences, offers important lessons for AI governance. Contemporary AI systems and the environments in which they operate exhibit many of the properties characteristic of complex systems, including nonlinear growth patterns, emergent phenomena, and cascading effects that can lead to tail risks. Complexity theory can help illuminate the features of AI that pose central challenges for policymakers, such as feedback loops induced by training AI models on synthetic data and the interconnectedness between AI systems and critical infrastructure. Drawing on insights from other domains shaped by complex systems, including public health and climate change, we examine how efforts to govern AI are marked by deep uncertainty. To contend with this challenge, we propose a set of complexity-compatible principles concerning the timing and structure of AI governance, and the risk thresholds that should trigger regulatory intervention.

研究动机与目标

• 将当代 AI 系统刻画为具有涌现、反馈回路、连锁风险等特性的复杂自适应系统。
• 分析深度不确定性与互联基础设施带来的治理挑战。
• 提出与复杂性相容的治理原则，指导监管的时机、结构与范围。

提出的方法

• 综合复杂性理论与 AI 文献的发现，识别关键特性（非线性增长、涌现、反馈回路、连锁效应、尾部风险）。
• 将这些特性映射到治理挑战与监管设计选择。
• 提出 AI 治理的三大愿景：早期/可扩展干预、适应性治理、以及复杂性相容的风险阈值。
• 借鉴气候政策、公共卫生与金融监管的监管经验，论证适应性与谨慎性方法的合理性。
• 讨论开放式标准与规制裁量的利弊，以在保持监管灵活性的同时保持有效性。

实验结果

研究问题

• RQ1 AI 系统是否出现核心复杂性特征，如非线性增长、涌现、反馈回路和连锁风险？
• RQ2 AI 的复杂性与深度不确定性带来哪些治理挑战？
• RQ3 构成复杂性相容 AI 治理的原则（时机、适应性、风险阈值）有哪些？
• RQ4 鉴于相互连接、充满不确定性的 AI 景观，监管者应如何设定干预触发点？

主要发现

• AI 系统表现出非线性增长、扩展行为、新能力的涌现、反馈回路、连锁效应以及尾部风险，这些都使治理变得复杂。
• 来自气候政策、公共卫生和金融领域的监管方法为管理 AI 的复杂性与不确定性提供宝贵见解。
• 提出三条核心治理愿景：（i）早期且可扩展的干预，（ii）具备反馈与韧性的自适应治理，以及（iii）与复杂性相容的风险阈值与谨慎行动。
• 开放式标准与监管裁量权可以提高适应性，但需要最新信息与持续证据搜寻政策的支撑。
• 监管者可能需要放宽信息门槛并采用谨慎推理来应对快速、互联的风险。