[论文解读] Flickering Adversarial Attacks against Video Recognition Networks

Itay Naeh, Roi Pony+1 more|arXiv (Cornell University)|Feb 12, 2020

Adversarial Robustness in Machine Learning参考文献 15被引用 1

一句话总结

本文提出了一种闪烁对抗性攻击，利用视频识别模型中的时间不一致性，通过几乎不可察觉的时间变化扰动来实现攻击。通过在视频中普遍应用这些扰动并使其具有时间不变性，该方法在真实环境中仅使用极少的输入数据即可实现高欺骗率，弥合了仿真与实际部署之间的差距。

ABSTRACT

Deep neural networks for video classification, just like image classification networks, may be subjected to adversarial manipulation. The main difference between image classifiers and video classifiers is that the latter usually use temporal information contained within the video. In this work we present a manipulation scheme for fooling video classifiers by introducing a flickering temporal perturbation that is practically unnoticeable by human observers and is implementable in the real world. After demonstrating the manipulation of action classification of single videos, we generalize the procedure to make universal adversarial perturbation by using only dozens of videos, achieving high fooling ratio. In addition, we generalize the universal perturbation and produce a temporal-invariant perturbation, which can be applied to the video without synchronizing the perturbation to the input. These properties allow us to bridge the gap between simulated environment and real-world application.

研究动机与目标

• 开发能够利用视频分类模型时间动态特性的对抗性攻击。
• 创建对人类几乎不可察觉但能有效欺骗视频分类器的扰动。
• 将单视频攻击推广为仅使用几十个视频即可学习的通用扰动。
• 设计无需与输入视频同步的时间不变扰动。

提出的方法

• 引入一种闪烁时间扰动，通过在帧之间快速交替以避免被人类观察者察觉。
• 采用基于梯度的优化方法生成对抗性扰动，以最大化视频模型的误分类率。
• 通过少量视频集学习通用扰动，从而实现对未见视频的迁移能力。
• 通过将扰动与输入视频时间解耦，构建时间不变扰动，实现在无需同步情况下的应用。

实验结果

研究问题

• RQ1 闪烁时间扰动是否能在保持几乎不可察觉的同时有效欺骗视频识别模型？
• RQ2 如何仅使用极少的训练数据（几十个视频）学习通用对抗性扰动？
• RQ3 能否构建时间不变扰动，使其在无需时间对齐的情况下适用于不同视频？
• RQ4 这些攻击在不同视频识别模型之间的泛化程度如何？

主要发现

• 所提出的闪烁扰动在几乎不可察觉的情况下，对视频分类模型实现了高欺骗率。
• 仅使用几十个视频即可成功学习通用对抗性扰动，显著降低了数据需求。
• 时间不变扰动可在无需与输入视频同步的情况下应用，增强了实际可行性。
• 该方法在不同视频识别架构之间表现出强大的迁移能力，表明其具备鲁棒性和泛化能力。