[论文解读] Advancing the Research and Development of Assured Artificial Intelligence and Machine Learning Capabilities

Tyler J. Shipp, Daniel J. Clouse+5 more|arXiv (Cornell University)|Sep 24, 2020

Adversarial Robustness in Machine Learning参考文献 8被引用 6

一句话总结

本文提出由A2I工作组主导的协作框架，旨在推进美国国防部和情报界在可信人工智能与机器学习（AI/ML）能力方面的发展。该框架聚焦于通过针对AI可信鲁棒性、系统安全性和架构脆弱性等领域的专项研究，构建对对抗性AI和机器学习攻击的稳健防御体系，其核心贡献在于建立了一项结构化、跨机构的倡议，以增强用于国家防御的AI/ML系统的可信度。

ABSTRACT

Artificial intelligence (AI) and machine learning (ML) have become increasingly vital in the development of novel defense and intelligence capabilities across all domains of warfare. An adversarial AI (A2I) and adversarial ML (AML) attack seeks to deceive and manipulate AI/ML models. It is imperative that AI/ML models can defend against these attacks. A2I/AML defenses will help provide the necessary assurance of these advanced capabilities that use AI/ML models. The A2I Working Group (A2IWG) seeks to advance the research and development of assured AI/ML capabilities via new A2I/AML defenses by fostering a collaborative environment across the U.S. Department of Defense and U.S. Intelligence Community. The A2IWG aims to identify specific challenges that it can help solve or address more directly, with initial focus on three topics: AI Trusted Robustness, AI System Security, and AI/ML Architecture Vulnerabilities.

研究动机与目标

• 应对防御与情报系统日益增长的对抗性AI和机器学习（A2I/AML）攻击威胁。
• 通过开发可靠的防御机制，提升军事与情报领域所用AI/ML能力的可信度。
• 在美利坚合众国国防部与情报界之间建立协作研究环境。
• 初期工作聚焦于三大核心挑战：AI可信鲁棒性、AI系统安全性和AI/ML架构脆弱性。
• 提供一条结构化的研发路径，以增强高风险作战环境中AI/ML系统的韧性与可靠性。

提出的方法

• 建立A2I工作组（A2IWG）作为跨机构论坛，协调AI/ML可信度研究工作。
• 优先开展对抗性鲁棒性研究，以防御输入层面的操纵对AI模型的影响。
• 研究系统级安全控制，保护AI/ML流水线免受运行时和基础设施层面的破坏。
• 分析AI/ML系统架构中固有的脆弱性，这些脆弱性可能被攻击者利用。
• 促进国防与情报机构之间的协作，统一研发工作并共享威胁情报。
• 利用AAAI及其他学术会议的既有研究成果，指导并加速实用化防御措施的开发。

实验结果

研究问题

• RQ1 如何使AI/ML模型对操纵其预测结果的对抗性输入具备鲁棒性？
• RQ2 在保护AI/ML流水线免受破坏方面，哪些系统级安全控制最为有效？
• RQ3 AI/ML系统中的哪些架构模式会引入可被利用的脆弱性？
• RQ4 如何通过跨机构协作提升可信AI/ML能力的开发与部署效率？
• RQ5 可应用于评估国防应用中AI/ML系统韧性的可衡量可信度指标有哪些？

主要发现

• A2I工作组已成功建立一个协作研发框架，以应对国防AI/ML系统中的关键可信度挑战。
• 初期聚焦于AI可信鲁棒性、系统安全性和架构脆弱性，已识别出需重点缓解的关键威胁面。
• 本文表明，协调一致的跨机构研究对于开发有效防御对抗性AI/ML攻击至关重要。
• 该倡议已促成研究成果在AAAI FSS-20上展示，标志着在政府及公共部门AI社群中已实现早期采纳与验证。
• 该框架能够优先推进高影响力的研究领域，直接支持国家安全部署目标。
• 该工作为在敏感国防与情报应用中制定AI/ML标准化可信实践奠定了基础。