[论文解读] Artificial Intelligence Safety and Cybersecurity: a Timeline of AI Failures

Roman V. Yampolskiy, M. S. Spellchecker|arXiv (Cornell University)|Oct 25, 2016

Adversarial Robustness in Machine Learning参考文献 15被引用 78

一句话总结

本文提出了一份人工智能系统已记录失败事件的时间线，认为随着人工智能向通用智能和超级智能形态发展，失败风险的频率和严重性将不断上升。通过与网络安全部署类比，本文主张建立强大的安全机制——强调尽管当前窄域人工智能的失败尚可管理，但若安全协议失效，超级智能系统可能引发不可逆的灾难性失败。

ABSTRACT

In this work, we present and analyze reported failures of artificially intelligent systems and extrapolate our analysis to future AIs. We suggest that both the frequency and the seriousness of future AI failures will steadily increase. AI Safety can be improved based on ideas developed by cybersecurity experts. For narrow AIs safety failures are at the same, moderate, level of criticality as in cybersecurity, however for general AI, failures have a fundamentally different impact. A single failure of a superintelligent system may cause a catastrophic event without a chance for recovery. The goal of cybersecurity is to reduce the number of successful attacks on the system; the goal of AI Safety is to make sure zero attacks succeed in bypassing the safety mechanisms. Unfortunately, such a level of performance is unachievable. Every security system will eventually fail; there is no such thing as a 100% secure system.

研究动机与目标

• 分析人工智能系统的历史失败案例，识别其成因与影响的模式。
• 在人工智能安全与网络安全之间建立类比，以改进安全框架。
• 突出人工智能系统向通用智能和超级智能演进过程中，灾难性失败风险的持续上升趋势。
• 论证在人工智能安全机制上实现零次成功绕过是不可行的，因此必须采取主动、具备韧性的设计策略。
• 倡导将网络安全最佳实践整合到人工智能安全工程中，以减轻未来风险。

提出的方法

• 收集并分析来自不同领域和时间阶段的已记录人工智能失败案例。
• 按类型、严重程度及系统类型（窄域AI与通用AI）对失败进行分类。
• 将网络安全原则（如纵深防御和威胁建模）适配至人工智能安全场景。
• 基于失败趋势进行外推，预测未来通用智能与超级智能人工智能系统面临的风险将不断上升。
• 运用类比推理，将网络攻击面与人工智能安全漏洞进行对照。
• 强调实现100%安全系统是不可能的，主张以韧性替代完美性作为核心目标。

实验结果

研究问题

• RQ1 根据历史案例记录，人工智能系统失败的最常见原因和模式是什么？
• RQ2 窄域人工智能的失败机制与通用或超级智能人工智能系统的失败机制有何异同？
• RQ3 网络安全策略在多大程度上可有效适配以增强人工智能安全？
• RQ4 为何在人工智能系统中实现零次成功绕过安全机制在根本上不可行？其后果是什么？
• RQ5 为防止未来人工智能失败导致灾难性后果，需要实施哪些系统性变革？

主要发现

• 随着人工智能系统变得日益复杂和自主，特别是向通用智能和超级智能演进时，人工智能安全失败的可能性显著增加。
• 尽管当前窄域人工智能的失败处于中等严重性水平，与网络安全事件相当，但未来的失败可能造成不可逆且灾难性的后果。
• 没有任何安全系统能实现100%安全；人工智能中的每一项安全机制最终都会被绕过，因此韧性比完美性更为关键。
• 人工智能安全的目标应是将成功攻击安全机制的可能性降至最低，而非完全消除此类攻击。
• 网络安全领域的专业知识为设计更强大、更具适应性的AI安全架构提供了宝贵框架。
• 超级智能系统中的一次失败，可能引发无法挽回的全球性灾难，凸显了主动安全措施的紧迫性。