[论文解读] SoK: On the Semantic AI Security in Autonomous Driving

Junjie Shen, Ningfei Wang+11 more|arXiv (Cornell University)|Mar 10, 2022

Ethics and Social Impacts of AI被引用 15

一句话总结

本文首次系统化地梳理了自动驾驶领域语义AI安全的研究，分析了53篇近期论文，识别出关键研究空白，并提出PASS——一个统一的、开源的、基于仿真的系统级对抗攻击与防御评估平台。研究发现，大多数攻击在系统层面因语义鸿沟而失败，而PASS实现了可复现、场景灵活的评估，物理世界与仿真结果之间的平均相关性达75%。

ABSTRACT

Autonomous Driving (AD) systems rely on AI components to make safety and correct driving decisions. Unfortunately, today's AI algorithms are known to be generally vulnerable to adversarial attacks. However, for such AI component-level vulnerabilities to be semantically impactful at the system level, it needs to address non-trivial semantic gaps both (1) from the system-level attack input spaces to those at AI component level, and (2) from AI component-level attack impacts to those at the system level. In this paper, we define such research space as semantic AI security as opposed to generic AI security. Over the past 5 years, increasingly more research works are performed to tackle such semantic AI security challenges in AD context, which has started to show an exponential growth trend. In this paper, we perform the first systematization of knowledge of such growing semantic AD AI security research space. In total, we collect and analyze 53 such papers, and systematically taxonomize them based on research aspects critical for the security field. We summarize 6 most substantial scientific gaps observed based on quantitative comparisons both vertically among existing AD AI security works and horizontally with security works from closely-related domains. With these, we are able to provide insights and potential future directions not only at the design level, but also at the research goal, methodology, and community levels. To address the most critical scientific methodology-level gap, we take the initiative to develop an open-source, uniform, and extensible system-driven evaluation platform, named PASS, for the semantic AD AI security research community. We also use our implemented platform prototype to showcase the capabilities and benefits of such a platform using representative semantic AD AI attacks.

研究动机与目标

• 为解决自动驾驶（AD）中语义AI安全领域缺乏全面系统化研究的问题，弥合AI组件漏洞与真实系统级影响之间的鸿沟。
• 通过纵向比较（AD AI安全领域内部）与横向比较（与其他相关领域）的方式，识别并分析当前研究中的关键科学空白。
• 开发一个标准化、开源的评估平台（PASS），支持在多样化驾驶场景下，基于仿真进行系统驱动的语义AI攻击与防御测试。
• 展示现有攻击在实现真实系统级影响（如误识别停车标志）方面的局限性，例如由于跟踪等下游模块的鲁棒性，攻击难以奏效。
• 通过在全球CTF赛事中部署PASS，推动研究的普惠化、可复现性与真实性。

提出的方法

• 系统性地收集并分析了2017至2022年间发表于安全、人工智能与机器人领域顶级会议的53篇近期论文。
• 基于关键安全研究维度提出分类体系：目标AI组件、攻击/防御目标、攻击向量、攻击知识、防御可部署性、鲁棒性及评估方法论。
• 开发了PASS，一个开源、可扩展、基于仿真的平台，支持可配置的驾驶场景、车辆动力学及系统级指标，实现端到端的AD AI安全评估。
• 利用PASS评估代表性攻击（如SS、RP2、SIB）在停车标志检测中的表现，测量其在不同速度与跟踪行为下的成功率。
• 通过对比真实世界检测结果与仿真输出，验证仿真保真度，平均皮尔逊相关系数达0.75（p < 0.05）。
• 在全球CTF赛事中部署PASS以评估可用性并收集反馈，确认其教育价值，并识别出对云托管访问的需求。

实验结果

研究问题

• RQ1 从近年顶级期刊论文中反映出的主导研究趋势与设计选择是什么？
• RQ2 对单个AI组件（如感知）的对抗性攻击在多大程度上能转化为实际的系统级故障（如碰撞）？
• RQ3 系统输入与AI输入之间、AI影响与系统影响之间的语义鸿沟如何影响AI安全攻击在现实世界中的有效性？
• RQ4 统一的、基于仿真的评估平台能否提升AD AI安全研究中的可复现性、可扩展性与真实性？
• RQ5 仿真环境的保真度与真实世界性能在评估AD AI安全方面相比如何？

主要发现

• 仅10%的攻击（SS在10mph时）在停车标志处实现了系统级成功，而更高车速（15–30mph）下则持续失败，原因在于原始标志被持续跟踪。
• AI到系统的语义鸿沟不容忽视：即使像素级攻击效果极佳，当下游模块（如跟踪）维持目标连续性时，系统行为仍不受影响。
• 仿真保真度足够高，真实世界与仿真检测结果之间的平均皮尔逊相关系数为0.75（p < 0.05）。
• 在使用PASS的全球CTF赛事中，全部五支获胜队伍均表示平台有帮助，但有两人建议增加云托管访问以降低硬件门槛。
• 本研究识别出六大主要科学空白，包括评估方法论的局限性与缺乏标准化，而PASS正是为解决这些问题而设计。
• 研究揭示当前AD AI安全研究在系统级影响评估方面严重不足，呼吁向系统驱动、场景感知的评估框架转型。