[论文解读] Adversarial Attacks for Optical Flow-Based Action Recognition Classifiers

Nathan Inkawhich, Matthew Inkawhich+2 more|arXiv (Cornell University)|Nov 28, 2018

Adversarial Robustness in Machine Learning参考文献 20被引用 32

一句话总结

该论文提出了一种针对基于光流的动作识别模型的白盒与黑盒对抗攻击框架，通过可微分光流（FlowNet2.0）在视频帧上生成难以察觉的稀疏扰动。该方法实现了最先进水平的攻击成功率，即使在迁移至使用非可微分光流算法（如TV-L1和Farneback）的黑盒系统时，也能显著降低模型性能。

ABSTRACT

The success of deep learning research has catapulted deep models into production systems that our society is becoming increasingly dependent on, especially in the image and video domains. However, recent work has shown that these largely uninterpretable models exhibit glaring security vulnerabilities in the presence of an adversary. In this work, we develop a powerful untargeted adversarial attack for action recognition systems in both white-box and black-box settings. Action recognition models differ from image-classification models in that their inputs contain a temporal dimension, which we explicitly target in the attack. Drawing inspiration from image classifier attacks, we create new attacks which achieve state-of-the-art success rates on a two-stream classifier trained on the UCF-101 dataset. We find that our attacks can significantly degrade a model's performance with sparsely and imperceptibly perturbed examples. We also demonstrate the transferability of our attacks to black-box action recognition systems.

研究动机与目标

• 解决基于光流的动作识别模型在生产系统中广泛应用所存在的安全漏洞。
• 开发一种白盒攻击方法，通过反向传播经过可微分光流模型（FlowNet2.0）和时序流分类器，直接扰动视频帧。
• 展示对抗样本在使用非可微分光流算法（如TV-L1、Farneback）的黑盒模型上的迁移能力。
• 探究显著视频帧在对抗样本生成和模型鲁棒性中的作用。
• 评估稀疏扰动，特别是单帧攻击，在降低分类器性能方面的有效性。

提出的方法

• 使用FlowNet2.0作为光流计算的可微分代理，实现从分类器损失到输入视频帧的梯度反向传播。
• 构建一个端到端的复合模型，整合FlowNet2.0与时序流CNN，以支持对输入帧扰动的基于梯度的优化。
• 采用三种攻击变体：单步攻击（一次扰动步骤）、基于显著性的迭代攻击（it-saliency-RG）以及仅针对显著帧的稀疏帧级攻击。
• 在白盒设置下利用复合模型的梯度执行攻击，随后在使用其他光流算法的黑盒模型上评估迁移能力。
• 利用显著性图识别并仅扰动最具影响力的帧，从而在保持攻击有效性的同时降低扰动密度。
• 通过在UCF-101数据集上使用多种光流和CNN配置，对比干净样本与对抗样本的误分类率来评估攻击效果。

实验结果

研究问题

• RQ1 能否通过利用可微分光流进行梯度计算，有效应用于基于光流的动作识别模型的对抗攻击？
• RQ2 稀疏且难以察觉的扰动——特别是单帧攻击——对双流动作识别模型性能的影响有多大？
• RQ3 在白盒假设下生成的对抗样本在多大程度上能迁移至使用非可微分光流算法（如TV-L1和Farneback）的黑盒模型？
• RQ4 光流算法的选择（如FlowNet2.0与TV-L1或Farneback）是否会影响对抗样本的迁移性和鲁棒性？
• RQ5 在不同黑盒配置下，基于显著性的迭代攻击（it-saliency-RG）与单步攻击在迁移性和成功率方面有何差异？

主要发现

• 所提出的白盒攻击在UCF-101数据集上实现了最先进水平的成功率，其中it-saliency-RG变体在FlowNet2.0基线上ε=0.035时比单步攻击高出近13%。
• 使用白盒方法生成的对抗样本能有效迁移至使用TV-L1和Farneback光流算法的黑盒模型，尽管缺乏梯度访问，仍显著降低了其准确率。
• 在ε=0.035时，与单步攻击相比，it-saliency-RG攻击在黑盒TV-L1系统上的攻击成功率高出约6%，尽管该提升幅度在黑盒设置中不如白盒设置明显。
• 不同光流算法的迁移趋势存在差异：在低ε（ε<0.015）时，攻击更易迁移至TV-L1系统；在高ε时，则更易迁移至Farneback系统，表明不同算法对攻击具有特定敏感性。
• 仅扰动单个显著帧的稀疏攻击仍能实现高攻击成功率，表明极小扰动已足以显著降低模型性能。
• 即使黑盒模型使用不同的光流算法，攻击依然有效，证实了迁移特性的鲁棒性与实际相关性。