[论文解读] Attacking Video Recognition Models with Bullet-Screen Comments

Kai Chen, Zhipeng Wei+3 more|arXiv (Cornell University)|Oct 29, 2021

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种新颖的黑盒对抗攻击方法，针对视频识别模型，利用弹幕评论（BSCs）作为有意义且低可见性的对抗补丁。通过将攻击建模为强化学习（RL）问题以优化BSC的位置和透明度，该方法在UCF-101和HMDB-51数据集上实现了超过90%的欺骗率，且视频遮挡面积不足8%，在隐蔽性和效率方面显著优于传统方形补丁攻击。

ABSTRACT

Recent research has demonstrated that Deep Neural Networks (DNNs) are vulnerable to adversarial patches which introduce perceptible but localized changes to the input. Nevertheless, existing approaches have focused on generating adversarial patches on images, their counterparts in videos have been less explored. Compared with images, attacking videos is much more challenging as it needs to consider not only spatial cues but also temporal cues. To close this gap, we introduce a novel adversarial attack in this paper, the bullet-screen comment (BSC) attack, which attacks video recognition models with BSCs. Specifically, adversarial BSCs are generated with a Reinforcement Learning (RL) framework, where the environment is set as the target model and the agent plays the role of selecting the position and transparency of each BSC. By continuously querying the target models and receiving feedback, the agent gradually adjusts its selection strategies in order to achieve a high fooling rate with non-overlapping BSCs. As BSCs can be regarded as a kind of meaningful patch, adding it to a clean video will not affect people' s understanding of the video content, nor will arouse people' s suspicion. We conduct extensive experiments to verify the effectiveness of the proposed method. On both UCF-101 and HMDB-51 datasets, our BSC attack method can achieve about 90\% fooling rate when attacking three mainstream video recognition models, while only occluding extless 8\% areas in the video. Our code is available at https://github.com/kay-ck/BSC-attack.

研究动机与目标

• 为解决黑盒设置下视频识别模型中有效基于补丁的对抗攻击缺乏的问题。
• 通过使用弹幕评论（BSCs）替代标准矩形补丁，降低对抗攻击的可察觉性和可疑性。
• 通过强化学习提升黑盒视频攻击的查询效率和欺骗率。
• 评估BSCs在对抗局部梯度平滑（LGS）等防御机制时的鲁棒性。

提出的方法

• 将BSC攻击建模为强化学习（RL）问题，其中智能体根据目标模型的反馈选择BSC的位置和透明度。
• 使用图像字幕模型为每帧视频自动生成多样化且有意义的BSC。
• 在RL中设计双奖励函数：一个用于最大化欺骗率，另一个用于最小化BSC之间的交并比（IoU），以避免重叠。
• 采用LSTM与全连接层作为智能体策略网络，以处理跨帧的序列决策。
• 在仅依赖模型预测结果作为反馈的黑盒设置下应用攻击，实现查询高效的优化。
• 优化BSC以最小化视觉影响，同时最大化对视频识别模型的误分类效果。

实验结果

研究问题

• RQ1 弹幕评论（BSCs）能否作为视频识别模型的有效、隐蔽的对抗补丁？
• RQ2 与随机或基线方法相比，基于强化学习优化BSC位置和透明度在提升攻击效率和欺骗率方面有何优势？
• RQ3 与传统方形补丁相比，BSCs在可察觉性和可疑性方面降低了多少？
• RQ4 BSCs在面对如局部梯度平滑（LGS）等防御机制时的鲁棒性如何？
• RQ5 BSCs能否在显著少于方形补丁的视频遮挡面积下实现高欺骗率？

主要发现

• 在攻击三种主流视频模型时，BSC攻击在UCF-101和HMDB-51数据集上均实现了90%的欺骗率，且视频遮挡面积不足8%。
• 与方形补丁相比，由于BSCs呈散射状且非矩形，其遮挡面积减少了超过52%。
• 与基线启发式（BH）方法相比，强化学习将查询次数减少了超过22%，适用于C3D和LRCN模型。
• 在相同遮挡面积下，BSCs在欺骗率上优于方形补丁，尤其在I3D-Slow模型上表现更优（HMDB-51上分别为93.9% vs. 67.3%）。
• BSCs在面对LGS防御时比方形补丁更具鲁棒性，在相同条件下维持了更高的欺骗率。
• 视觉显著性分析表明，BSCs比方形补丁更不显眼，降低了被一眼识破的可能性。