[论文解读] Black-box Adversarial Attacks on Video Recognition Models

Linxi Jiang, Xingjun Ma+3 more|arXiv (Cornell University)|Apr 10, 2019

Adversarial Robustness in Machine Learning参考文献 45被引用 9

一句话总结

本文提出 V-BAD，首个针对视频识别模型的黑箱对抗攻击框架，通过利用图像模型的迁移扰动以及基于 NES 的逐块校正方法，高效估计对抗梯度。该方法仅需 3.4–8.4×10⁴ 次查询即实现超过 93% 的目标攻击成功率，尽管视频模型具有高维特性，仍展现出极高的效率。

ABSTRACT

Deep neural networks (DNNs) are known for their vulnerability to adversarial examples. These are examples that have undergone small, carefully crafted perturbations, and which can easily fool a DNN into making misclassifications at test time. Thus far, the field of adversarial research has mainly focused on image models, under either a white-box setting, where an adversary has full access to model parameters, or a black-box setting where an adversary can only query the target model for probabilities or labels. Whilst several white-box attacks have been proposed for video models, black-box video attacks are still unexplored. To close this gap, we propose the first black-box video attack framework, called V-BAD. V-BAD utilizes tentative perturbations transferred from image models, and partition-based rectifications found by the NES on partitions (patches) of tentative perturbations, to obtain good adversarial gradient estimates with fewer queries to the target model. V-BAD is equivalent to estimating the projection of an adversarial gradient on a selected subspace. Using three benchmark video datasets, we demonstrate that V-BAD can craft both untargeted and targeted attacks to fool two state-of-the-art deep video recognition models. For the targeted attack, it achieves $>$93\% success rate using only an average of $3.4 \sim 8.4 imes 10^4$ queries, a similar number of queries to state-of-the-art black-box image attacks. This is despite the fact that videos often have two orders of magnitude higher dimensionality than static images. We believe that V-BAD is a promising new tool to evaluate and improve the robustness of video recognition models to black-box adversarial attacks.

研究动机与目标

• 为解决视频识别模型缺乏黑箱对抗攻击方法的问题，尽管图像模型已知存在漏洞。
• 开发一种高效的黑箱攻击框架，降低高维视频输入的查询复杂度，此类输入通常需要比图像多出数个数量级的查询次数。
• 使用查询高效的攻击方法，评估最先进视频模型在黑箱对抗攻击下的鲁棒性。
• 研究基于图像的扰动在视频攻击场景中的可迁移性，以及通过分块校正方法的改进效果。

提出的方法

• V-BAD 使用预训练的 ImageNet 模型生成初步扰动，以近似真实对抗梯度方向。
• 将视频输入划分为空间块，并对每个块应用自然进化策略（NES）以估计方向导数，实现高效梯度估计。
• 通过在选定子空间上优化，对初步扰动进行校正，提升梯度估计精度，而无需计算全像素梯度。
• V-BAD 估计真实对抗梯度在低维子空间上的投影，降低查询成本，同时保持高攻击成功率。
• 该框架支持目标攻击与非目标攻击，且在多个视频数据集和模型上均保持高查询效率。
• 通过利用图像模型的可迁移性，并结合基于 NES 的迭代优化，实现精度与查询效率的平衡。

实验结果

研究问题

• RQ1 鉴于视频识别模型输入维度极高，能否有效应用黑箱对抗攻击？
• RQ2 在模型查询受限的高维视频空间中，如何实现高效的对抗梯度估计？
• RQ3 从图像模型迁移而来的扰动在视频模型攻击中能多大程度上提升攻击性能？
• RQ4 基于分块的 NES 校正方法在视频攻击框架中如何提升梯度估计质量？
• RQ5 在黑箱视频对抗攻击中，查询效率与攻击成功率之间存在何种权衡？

主要发现

• V-BAD 在两个最先进视频模型上仅使用平均 3.4–8.4×10⁴ 次查询，即实现超过 93% 的目标攻击成功率，其查询效率与顶尖黑箱图像攻击方法相当。
• 对于非目标攻击，V-BAD 所需查询量仅为目标攻击的约 10%，并在数百次查询内成功攻破 CNN+LSTM 模型。
• V-BAD 中经校正的扰动与真实梯度的余弦相似度（~4.66×10⁻³）显著高于初步扰动，证实了基于 NES 的优化有效。
• 尽管初始迁移扰动的余弦相似度为负值（如 -2.743×10⁻⁴），但其仍作为强大初始化，得益于其可迁移性，显著改善最终梯度估计。
• V-BAD 显著优于基线方法（如 P-BAD 和 SR-BAD），尤其在 CNN+LSTM 模型上，其攻击后准确率下降低于 5%，而其他方法在 UCF-101 上准确率下降超过 50%。
• 该框架表明，视频模型与图像模型一样容易受到黑箱攻击，凸显了在视频识别系统中构建鲁棒防御机制的迫切需求。