[论文解读] A Person Re-identification Data Augmentation Method with Adversarial Defense Effect

Yunpeng Gong, Zhiyong Zeng+4 more|arXiv (Cornell University)|Jan 21, 2021

Adversarial Robustness in Machine Learning参考文献 33被引用 8

一句话总结

本文提出了一种用于行人重识别（ReID）的多模态数据增强方法，可提升模型对对抗攻击的鲁棒性。通过结合局部/全局灰度块替换，并融合可见光、灰度和草图模态，该方法将准确率从0.2%提升至93.3%（提升467倍），并有效抵御基于MS-SSIM的ReID基准对抗攻击。

ABSTRACT

The security of the Person Re-identification(ReID) model plays a decisive role in the application of ReID. However, deep neural networks have been shown to be vulnerable, and adding undetectable adversarial perturbations to clean images can trick deep neural networks that perform well in clean images. We propose a ReID multi-modal data augmentation method with adversarial defense effect: 1) Grayscale Patch Replacement, it consists of Local Grayscale Patch Replacement(LGPR) and Global Grayscale Patch Replacement(GGPR). This method can not only improve the accuracy of the model, but also help the model defend against adversarial examples; 2) Multi-Modal Defense, it integrates three homogeneous modal images of visible, grayscale and sketch, and further strengthens the defense ability of the model. These methods fuse different modalities of homogeneous images to enrich the input sample variety, the variaty of samples will reduce the over-fitting of the ReID model to color variations and make the adversarial space of the dataset that the attack method can find difficult to align, thus the accuracy of model is improved, and the attack effect is greatly reduced. The more modal homogeneous images are fused, the stronger the defense capabilities is . The proposed method performs well on multiple datasets, and successfully defends the attack of MS-SSIM proposed by CVPR2020 against ReID [10], and increases the accuracy by 467 times(0.2% to 93.3%).The code is available at https://github.com/finger-monkey/ReID_Adversarial_Defense.

研究动机与目标

• 解决深度学习模型在行人重识别（ReID）任务中对对抗攻击的脆弱性。
• 通过多模态数据增强提升输入样本多样性，改善模型泛化能力。
• 开发一种与训练过程原生集成的防御机制，无需额外的推理阶段防御。
• 通过引入同质模态丰富特征空间，减少对颜色变化的过拟合，并干扰对抗攻击的成功率。
• 在最先进对抗攻击（如CVPR 2020提出的基于MS-SSIM的攻击）下展示强鲁棒性。

提出的方法

• 提出局部灰度块替换（LGPR），将小范围局部图像块替换为其灰度版本，以增强对局部扰动的鲁棒性。
• 实现全局灰度块替换（GGPR），将较大区域的图像整体替换为灰度版本，以提升结构不变性。
• 在训练过程中将三种同质模态——可见光、灰度和草图——融合为单一多模态输入，以多样化特征学习过程。
• 利用多模态融合减少对颜色特异性模式的过拟合，增强模型对颜色变化的不变性。
• 使用增强后的多模态数据端到端训练ReID模型，使网络能够学习到鲁棒且可迁移的特征。
• 利用对抗空间中增加的多样性，使攻击者更难找到能欺骗模型的对齐扰动。

实验结果

研究问题

• RQ1 结合灰度和草图模态的数据增强技术是否能提升ReID模型对对抗攻击的鲁棒性？
• RQ2 多模态数据融合在多大程度上可减少ReID模型对颜色变化的过拟合？
• RQ3 所提方法在ReID基准上对基于MS-SSIM的对抗攻击防御效果如何？
• RQ4 灰度块替换（LGPR与GGPR）的集成是否能同时提升准确率与对抗防御能力？
• RQ5 增加融合模态的数量对模型防御能力与性能有何影响？

主要发现

• 所提方法在对抗攻击下将ReID准确率从0.2%提升至93.3%，实现467倍的性能提升。
• 模型成功抵御了CVPR 2020提出的基于MS-SSIM的对抗攻击，展现出强大的鲁棒性。
• 可见光、灰度和草图图像的多模态融合显著提升了模型泛化能力，并减少了对颜色变化的过拟合。
• LGPR与GGPR的结合通过引入对局部和全局图像扰动的结构不变性，增强了模型鲁棒性。
• 增加融合模态的数量可进一步提升模型的防御能力，表明模态多样性与对抗鲁棒性之间存在正相关关系。
• 该方法在多个ReID数据集上达到最先进性能，同时保持对细微、不可察觉对抗扰动的强大防御能力。