[论文解读] Adapting cybersecurity frameworks to manage frontier AI risks: A defense-in-depth approach

Shaun Ee, J.N. O'Brien+4 more|arXiv (Cornell University)|Aug 15, 2024

Information and Cyber Security被引用 4

一句话总结

本文提出一种纵深防御策略，通过整合成熟的网络安全框架——特别是NIST网络安全框架和AI风险管理框架——采用三种互补方法：功能型、生命周期型和基于威胁的。建议立即采纳功能型方法，同时为未来韧性建设开发详细的AI生命周期模型和威胁情报数据库。

ABSTRACT

The complex and evolving threat landscape of frontier AI development requires a multi-layered approach to risk management ("defense-in-depth"). By reviewing cybersecurity and AI frameworks, we outline three approaches that can help identify gaps in the management of AI-related risks. First, a functional approach identifies essential categories of activities ("functions") that a risk management approach should cover, as in the NIST Cybersecurity Framework (CSF) and AI Risk Management Framework (AI RMF). Second, a lifecycle approach instead assigns safety and security activities across the model development lifecycle, as in DevSecOps and the OECD AI lifecycle framework. Third, a threat-based approach identifies tactics, techniques, and procedures (TTPs) used by malicious actors, as in the MITRE ATT&CK and MITRE ATLAS databases. We recommend that frontier AI developers and policymakers begin by adopting the functional approach, given the existence of the NIST AI RMF and other supplementary guides, but also establish a detailed frontier AI lifecycle model and threat-based TTP databases for future use.

研究动机与目标

• 通过系统化的风险管理应对前沿AI开发日益复杂化和不断演变的威胁环境。
• 通过分析现有的网络安全和AI框架，识别当前AI风险管理实践中的缺口。
• 提出一种针对前沿AI系统独特风险量身定制的多层纵深防御策略。
• 为前沿AI开发者和政策制定者提供选择和实施适当风险管理框架的指导。
• 为未来专门的AI生命周期模型和威胁情报数据库的发展奠定基础。

提出的方法

• 通过将关键风险管理活动映射到核心功能，采用功能型方法，依据NIST网络安全框架和NIST AI RMF定义。
• 通过在前沿AI模型开发的所有阶段整合安全与安全实践，实施生命周期方法，受DevSecOps和OECD AI生命周期框架的启发。
• 通过识别并编目恶意行为者使用的战术、技术和程序（TTPs），应用基于威胁的方法，参考MITRE ATT&CK和MITRE ATLAS数据库。
• 综合多个框架的洞察，识别重叠和互补的风险管理领域。
• 由于其成熟度和与现有标准的一致性，优先推荐立即采纳功能型方法。
• 倡导建立专门的前沿AI生命周期模型和威胁TTP数据库，以支持长期风险缓解。

实验结果

研究问题

• RQ1 现有网络安全和AI风险管理框架如何被调整以应对前沿AI系统特有的挑战？
• RQ2 在应用于前沿AI开发时，当前风险管理实践中的关键缺口是什么？
• RQ3 功能型、生命周期型和基于威胁的风险管理方法在保护前沿AI方面如何相互补充？
• RQ4 标准化框架如NIST CSF和AI RMF在指导当前前沿AI风险管理中应发挥什么作用？
• RQ5 为构建面向未来的威胁情报和生命周期模型，需要采取哪些基础性步骤？

主要发现

• 基于NIST AI RMF的功能型方法，为管理前沿AI风险提供了成熟且可立即实施的基础。
• 生命周期方法可在前沿AI开发的所有阶段系统性地整合安全与安全实践，提升可预测性和控制力。
• 基于威胁的方法，利用来自MITRE ATT&CK和ATLAS的TTPs，可实现对针对前沿AI系统攻击行为的主动识别与缓解。
• 三种方法——功能型、生命周期型和基于威胁的——的结合，可形成针对前沿AI的全面纵深防御策略。
• 迫切需要开发专门的前沿AI生命周期模型和威胁TTP数据库，以支持未来规模化风险治理。
• 本文确立了清晰的路线图：立即采纳功能型方法，同时为未来构建生命周期和基于威胁的系统基础设施。