[论文解读] Heuristic Black-box Adversarial Attacks on Video Recognition Models

Zhipeng Wei, Jingjing Chen+5 more|arXiv (Cornell University)|Nov 21, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用 11

一句话总结

该论文提出了一种启发式黑箱对抗攻击方法，针对视频识别模型通过仅聚焦关键帧和显著区域来降低查询成本，在UCF-101和HMDB-51数据集上实现的查询次数比基线方法减少28%以上，同时通过联合时间与空间稀疏性保持扰动的不可察觉性。

ABSTRACT

We study the problem of attacking video recognition models in the black-box setting, where the model information is unknown and the adversary can only make queries to detect the predicted top-1 class and its probability. Compared with the black-box attack on images, attacking videos is more challenging as the computation cost for searching the adversarial perturbations on a video is much higher due to its high dimensionality. To overcome this challenge, we propose a heuristic black-box attack model that generates adversarial perturbations only on the selected frames and regions. More specifically, a heuristic-based algorithm is proposed to measure the importance of each frame in the video towards generating the adversarial examples. Based on the frames' importance, the proposed algorithm heuristically searches a subset of frames where the generated adversarial example has strong adversarial attack ability while keeps the perturbations lower than the given bound. Besides, to further boost the attack efficiency, we propose to generate the perturbations only on the salient regions of the selected frames. In this way, the generated perturbations are sparse in both temporal and spatial domains. Experimental results of attacking two mainstream video recognition methods on the UCF-101 dataset and the HMDB-51 dataset demonstrate that the proposed heuristic black-box adversarial attack method can significantly reduce the computation cost and lead to more than 28\% reduction in query numbers for the untargeted attack on both datasets.

研究动机与目标

• 解决由于视频数据维度高而导致的黑箱对抗攻击中查询成本过高的挑战。
• 通过利用视频数据中的时间与空间稀疏性，仅聚焦关键帧与显著区域，降低查询复杂度。
• 在无需模型架构或梯度信息的前提下，提升攻击效率，适用于视频监控等真实场景部署。
• 设计一种启发式框架，自适应地选择帧与区域以最大化攻击成功率，同时最小化扰动幅度。
• 在多种视频识别模型（LRCN、C3D）和基准数据集（UCF-101、HMDB-51）上验证方法的有效性。

提出的方法

• 提出一种启发式算法，基于对视频分类的贡献度识别关键帧，从而缩小对抗扰动的搜索空间。
• 在选定的关键帧中应用显著性检测，定位显著区域（通常为前景物体），以聚焦扰动生成。
• 使用其他类别的样本初始化扰动方向，随后迭代优化所选帧与区域，以最小化查询使用量。
• 在选定最优帧与区域后，采用零阶优化（ZOO）进行方向更新，保持扰动幅度较低。
• 对平均绝对扰动（MAP）施加约束，以确保不可察觉性，同时最小化被扰动的帧数与空间区域数。
• 集成时间与空间稀疏性启发式策略，通过聚焦最具影响力的视频片段与区域，减少查询数量。

实验结果

研究问题

• RQ1 启发式选择关键帧是否能降低视频识别模型黑箱对抗攻击中的查询成本？
• RQ2 与仅使用时间稀疏性（选择关键帧）相比，空间稀疏性（聚焦显著区域）在减少查询次数方面的效果如何？
• RQ3 联合使用时间与空间稀疏性在提升查询效率的同时，对攻击成功率与不可察觉性的影响有多大？
• RQ4 为何在定向攻击中引入空间稀疏性会增加扰动幅度？这对收敛性有何影响？
• RQ5 所提方法是否能在不访问模型梯度的情况下，实现对多种视频模型与数据集的鲁棒攻击性能？

主要发现

• 与Opt-attack基线相比，该方法在UCF-101和HMDB-51数据集上的无目标攻击中，查询次数减少超过28%。
• 在C3D与LRCN模型上，同时引入时间与空间稀疏性使查询次数减少超过28%，其中空间稀疏性的贡献大于仅使用时间稀疏性。
• 在LRCN模型（UCF-101）上，针对定向攻击，查询次数从445,279减少至399,655，降幅达19.59%。
• 尽管查询次数减少，空间稀疏性在定向攻击中显著提高了MAP与MAP*，表明需更高能量的扰动才能欺骗模型。
• 该方法成功生成了聚焦于关键帧中前景物体的不可察觉且稀疏的扰动，如图2所示。
• 启发式帧选择过程在UCF-101上消耗了约12%的查询量，表明帧选择是优化过程中非平凡但有效的组成部分。