[论文解读] Attacks, Defenses, And Tools: A Framework To Facilitate Robust AI/ML Systems

Mohamad Fazelnia, Igor Khokhlov+1 more|arXiv (Cornell University)|Feb 18, 2022

Advanced Malware Detection Techniques被引用 4

一句话总结

本文提出了一套全面且系统推导的框架，用于分类人工智能/机器学习（AI/ML）系统中的攻击、防御措施及工具，支持主动的风险建模与弹性规划。基于对2,500篇文献的系统性文献综述，该框架以标准化属性结构化了对抗性威胁、缓解技术以及进攻/防御工具，构建了一个可扩展的在线知识库，供开发人员和研究人员评估并保护人工智能增强型软件系统。

ABSTRACT

Software systems are increasingly relying on Artificial Intelligence (AI) and Machine Learning (ML) components. The emerging popularity of AI techniques in various application domains attracts malicious actors and adversaries. Therefore, the developers of AI-enabled software systems need to take into account various novel cyber-attacks and vulnerabilities that these systems may be susceptible to. This paper presents a framework to characterize attacks and weaknesses associated with AI-enabled systems and provide mitigation techniques and defense strategies. This framework aims to support software designers in taking proactive measures in developing AI-enabled software, understanding the attack surface of such systems, and developing products that are resilient to various emerging attacks associated with ML. The developed framework covers a broad spectrum of attacks, mitigation techniques, and defensive and offensive tools. In this paper, we demonstrate the framework architecture and its major components, describe their attributes, and discuss the long-term goals of this research.

研究动机与目标

• 解决人工智能/机器学习特定网络威胁、漏洞及防御措施方面缺乏组织化、系统化知识的问题。
• 创建一个结构化且可扩展的框架，将攻击、缓解技术与工具映射起来，以支持主动的威胁建模。
• 通过目标、能力、假设和专业知识对攻击者进行形式化表征，以提升人工智能系统中的威胁情报水平。
• 提供一个可扩展的在线知识库，支持软件设计人员识别攻击面并选择合适的防御措施。
• 通过系统性地分类对抗性技术与工具，为人工智能增强型软件系统的长期网络风险分析奠定基础。

提出的方法

• 在IEEE Xplore和ACM Digital Library（2000–2020）中开展系统性文献综述，通过标题和摘要筛选，将14,500篇文献缩减至2,500篇。
• 对选定文献进行详细分析，并采用雪球法识别初始数据库中未包含的其他相关文献。
• 开发了一个包含三个核心组件的元模型：攻击、缓解技术与工具，每个组件均具有标准化属性。
• 定义了攻击的属性（例如目标、具体性、假设、能力），缓解技术的属性（例如方法、类型、优势/劣势），以及工具的属性（例如输入/输出、进攻性/防御性、可用性）。
• 建立了攻击、缓解措施与工具之间的双向映射，以支持交叉引用与明智的决策制定。
• 将该框架实现为一个在线、可过滤的知识库（www.design.se.rit.edu/programs/ai-ml-framework），供实践者与研究人员实际使用。

实验结果

研究问题

• RQ1 人工智能/机器学习系统中的对抗性攻击的关键类别与属性是什么？如何实现系统性分类？
• RQ2 不同缓解技术在不同攻击类型中的有效性、成本及部署时机（主动 vs. 被动）有何差异？
• RQ3 当前可用的进攻与防御工具有哪些？它们如何与特定攻击和防御策略相关联？
• RQ4 如何从目标、能力、假设和专业知识的角度，对攻击者模型进行形式化表征，以提升威胁建模水平？
• RQ5 如何通过统一、可扩展的框架整合攻击、防御与工具，以支持人工智能增强型软件系统中的网络风险分析？

主要发现

• 该框架成功地对人工智能/机器学习攻击的广泛谱系进行了分类，包括逃避攻击、投毒攻击、成员推断攻击和模型提取攻击，其属性标准化，如目标、具体性与假设。
• 缓解技术被划分为主动型（如对抗训练）与被动型（如对抗样本检测），每类均记录了其优缺点。
• 识别并映射了多样化的进攻与防御工具，涵盖从Foolbox和ART等开源库到商业解决方案的各类工具，与特定攻击和防御策略相关联。
• 攻击者建模揭示了不同的威胁特征，包括有针对性攻击与无差别攻击，以及针对特定错误与通用错误的目标，其专业水平与能力各不相同。
• 该框架支持攻击、缓解措施与工具之间的双向映射，可根据威胁上下文与系统需求，支持防御策略的明智选择。
• 在线知识库的初始版本（www.design.se.rit.edu/programs/ai-ml-framework）已可运行，支持按攻击类型、缓解措施、工具及攻击者档案进行过滤，促进实际威胁建模。