[论文解读] Adversarial Attack on Skeleton-based Human Action Recognition

Jian Liu, Naveed Akhtar+1 more|arXiv (Cornell University)|Sep 14, 2019

Adversarial Robustness in Machine Learning被引用 9

一句话总结

本文提出CIASA，这是首个针对基于骨架的人行动态识别的对抗性攻击框架，采用图卷积网络。通过施加时空约束、空间骨架重对齐以及基于生成对抗网络（GAN）的正则化，CIASA生成了难以察觉且外观自然的扰动，能够以高迁移性成功欺骗当前最先进的模型，并在渲染的RGB视频中引发对抗性行为。

ABSTRACT

Deep learning models achieve impressive performance for skeleton-based human action recognition. However, the robustness of these models to adversarial attacks remains largely unexplored due to their complex spatio-temporal nature that must represent sparse and discrete skeleton joints. This work presents the first adversarial attack on skeleton-based action recognition with graph convolutional networks. The proposed targeted attack, termed Constrained Iterative Attack for Skeleton Actions (CIASA), perturbs joint locations in an action sequence such that the resulting adversarial sequence preserves the temporal coherence, spatial integrity, and the anthropomorphic plausibility of the skeletons. CIASA achieves this feat by satisfying multiple physical constraints, and employing spatial skeleton realignments for the perturbed skeletons along with regularization of the adversarial skeletons with Generative networks. We also explore the possibility of semantically imperceptible localized attacks with CIASA, and succeed in fooling the state-of-the-art skeleton action recognition models with high confidence. CIASA perturbations show high transferability for black-box attacks. We also show that the perturbed skeleton sequences are able to induce adversarial behavior in the RGB videos created with computer graphics. A comprehensive evaluation with NTU and Kinetics datasets ascertains the effectiveness of CIASA for graph-based skeleton action recognition and reveals the imminent threat to the spatio-temporal deep learning tasks in general.

研究动机与目标

• 为解决基于骨架的动作识别中对抗鲁棒性研究的缺失，特别是针对图神经网络的挑战。
• 开发一种攻击方法，确保扰动后的骨架序列在时间上保持连贯性，空间上保持完整性，并具备人体形态上的合理性。
• 通过仅扰动特定关节而非破坏整体动作动态，实现语义上难以察觉且局部化的攻击。
• 评估对抗性样本在不同识别模型及模态（包括RGB视频）之间的迁移能力。
• 证明针对骨架生成的扰动可引发由相同骨架渲染的计算机图形RGB视频中的对抗性行为。

提出的方法

• CIASA采用迭代优化方案，以小步扰动关节位置，同时最小化目标类别下的模型损失。
• 通过空间骨架重对齐（SSR）施加时空约束，保持帧间骨架内部关节连接关系与骨长度不变。
• 通过惩罚连续帧间关节加速度，维持时间平滑性，确保运动演化自然。
• 利用生成对抗网络（GAN）框架对对抗性扰动进行正则化，使扰动后骨架的分布与真实世界骨架数据对齐。
• 攻击支持多种模式：全局（所有关节）、局部（部分关节）和分层（结构化关节变化），以实现隐蔽部署。
• 在多种模型间评估迁移性，并通过图形渲染流水线测试对RGB视频的影响。

Figure 1: Constrained Iterative Attack for Skeleton Actions (CIASA) schematics. Model gradients are computed for input action sequence to iteratively minimise the model’s loss for a target label in small step, while accounting for the relevant spatio-temporal constraints. A generator-discriminator f

实验结果

研究问题

• RQ1 能否有效将对抗性攻击应用于基于骨架的动作识别模型，特别是图卷积网络？
• RQ2 如何使对抗性扰动在骨架序列中保持时间连贯性与空间完整性？
• RQ3 扰动在多大程度上保持人体形态上的合理性与语义上的不可察觉性？
• RQ4 生成的对抗性样本在不同识别模型之间的迁移能力如何？
• RQ5 对骨架的对抗性扰动是否能引发由相同骨架渲染的RGB视频流中的误分类？

主要发现

• CIASA在NTU和Kinetics数据集上以高置信度成功欺骗了当前最先进的骨架动作识别模型，即使在VNect等强防御机制下依然有效。
• CIASA生成的扰动在不同模型间表现出极高的迁移性，表明图基骨架识别系统存在广泛漏洞。
• 空间骨架重对齐与GAN正则化的结合显著提升了对抗性骨架的真实感与合理性，定性对比结果清晰显示其优势。
• 时间平滑约束有效减少了不自然的运动伪影，使对抗性序列更加平滑自然。
• 通过计算机图形渲染生成的RGB视频流中，骨架上的对抗性扰动成功实现迁移，证明其具备真实世界威胁潜力。
• CIASA的局部化攻击通过仅扰动部分关节即可成功欺骗模型，在保持主导动作模式的同时有效规避检测。

Figure 2: Fooling rates (%) achieved by one-step non-targeted attack with different perturbation scaling factors for NTU and Kinetics datasets. Both cross-subject NTU XS and cross-view NTU XV protocols are considered for the NTU dataset.