[论文解读] BASAR:Black-box Attack on Skeletal Action Recognition

Yunfeng Diao, Tianjia Shao+3 more|arXiv (Cornell University)|Mar 9, 2021

Adversarial Robustness in Machine Learning参考文献 58被引用 6

一句话总结

本文提出BASAR，这是首个针对骨骼动作识别的黑盒对抗攻击方法，通过利用引导流形行走（guided manifold walk）在数据流形和分类边界之间导航，生成难以察觉的、位于流形上的对抗样本。BASAR在多种模型和数据集上，无论在目标攻击还是非目标攻击设置下，均实现了100%的攻击成功率，表明在骨骼运动数据中，流形上的对抗样本普遍存在且极具欺骗性。

ABSTRACT

Skeletal motion plays a vital role in human activity recognition as either an independent data source or a complement. The robustness of skeleton-based activity recognizers has been questioned recently, which shows that they are vulnerable to adversarial attacks when the full-knowledge of the recognizer is accessible to the attacker. However, this white-box requirement is overly restrictive in most scenarios and the attack is not truly threatening. In this paper, we show that such threats do exist under black-box settings too. To this end, we propose the first black-box adversarial attack method BASAR. Through BASAR, we show that adversarial attack is not only truly a threat but also can be extremely deceitful, because on-manifold adversarial samples are rather common in skeletal motions, in contrast to the common belief that adversarial samples only exist off-manifold. Through exhaustive evaluation and comparison, we show that BASAR can deliver successful attacks across models, data, and attack modes. Through harsh perceptual studies, we show that it achieves effective yet imperceptible attacks. By analyzing the attack on different activity recognizers, BASAR helps identify the potential causes of their vulnerability and provides insights on what classifiers are likely to be more robust against attack. Code is available at https://github.com/realcrane/BASAR-Black-box-Attack-on-Skeletal-Action-Recognition.

研究动机与目标

• 为解决骨骼动作识别中缺乏有效黑盒对抗攻击的问题，尽管已知其存在白盒漏洞，但该领域仍研究不足。
• 挑战普遍认为对抗样本仅存在于流形外的假设，证明在骨骼运动数据中，流形上的对抗样本普遍存在且可实现。
• 开发一种方法，通过保持运动动态特性，确保对抗样本的不可察觉性，避免因稀疏扰动破坏时间连贯性。
• 在多种模型、数据集和攻击模式（非目标/目标）下评估攻击成功率与样本质量，包括感知鲁棒性。
• 为分类器的脆弱性提供洞见，并为设计更鲁棒的动作识别系统提供指导。

提出的方法

• BASAR将黑盒攻击建模为约束优化问题，以寻找在原始输入附近、位于原始类别边界之外，且仍处于数据流形上的对抗样本。
• 采用引导流形行走（GMW）策略，结合定向探测、随机探索与流形投影，以逃离局部极小值并保持流形上的扰动。
• 通过优先选择流形内扰动而非流形外扰动，平衡与原始样本的接近度、错误分类与视觉合理性。
• 使用距离函数衡量原始样本与对抗样本之间的接近程度，确保最小失真。
• 通过GMW子程序进行迭代优化，直至找到成功且不可察觉的对抗样本，或达到最大迭代次数。
• 通过感知研究评估不可察觉性，结果表明：协调的、多关节、多帧攻击比稀疏攻击更能保持运动动态特性。

实验结果

研究问题

• RQ1 能否在不访问目标模型内部参数的情况下，为骨骼动作识别构建有效的黑盒对抗攻击？
• RQ2 骨骼运动数据中的对抗样本是否主要存在于流形外，还是流形上的对抗样本也普遍存在并构成真实威胁？
• RQ3 骨骼运动的对抗攻击能否在高度成功的同时保持不可察觉性，同时保留自然的运动动态？
• RQ4 数据流形、分类边界与感知约束之间的相互作用如何影响攻击质量与成功率？
• RQ5 基于BASAR攻击模式的分析，哪些分类器架构或特征对对抗攻击更具鲁棒性？

主要发现

• 在NTU和HDM05数据集上的STGCN、MSG3D和SGN模型中，BASAR在目标攻击和非目标攻击设置下均实现了100%的攻击成功率。
• 在HDM05数据集上，BASAR显著优于所有基线方法，次佳方法（SMART）在目标攻击中仅达到30.31%的成功率。
• 在非目标攻击中，BASAR实现100%成功率，而最佳基线方法（SMART在MSG3D上）为99.33%，但标签迁移结果不一致。
• 边界攻击（BA）在100%的案例中均违反了骨骼长度约束，表明其不适用于骨骼运动数据。
• BASAR在所有指标上均显著优于BA，包括骨骼长度约束违反率（SGN/UA中为0.00% vs. 3.60%），且保持了更优的视觉质量。
• 本研究发现，流形上的对抗样本并非罕见，而是在骨骼运动中普遍存在，挑战了对抗样本本质上不自然或位于流形外的假设。