[论文解读] Adversarial Metric Attack and Defense for Person Re-identification

Song Bai, Yingwei Li+3 more|arXiv (Cornell University)|Jan 30, 2019

Adversarial Robustness in Machine Learning参考文献 51被引用 9

一句话总结

本文提出对抗性度量攻击（Adversarial Metric Attack），一种新型方法，通过在画廊图像上施加难以察觉的扰动，专门针对行人重识别（re-ID）系统中的距离度量生成对抗性样本。该攻击使re-ID性能严重下降——mAP从77.52%降至最低51.03%——并提出一种度量保持防御方法，在对抗性画廊集上将鲁棒性提升高达185%。

ABSTRACT

Person re-identification (re-ID) has attracted much attention recently due to its great importance in video surveillance. In general, distance metrics used to identify two person images are expected to be robust under various appearance changes. However, our work observes the extreme vulnerability of existing distance metrics to adversarial examples, generated by simply adding human-imperceptible perturbations to person images. Hence, the security danger is dramatically increased when deploying commercial re-ID systems in video surveillance. Although adversarial examples have been extensively applied for classification analysis, it is rarely studied in metric analysis like person re-identification. The most likely reason is the natural gap between the training and testing of re-ID networks, that is, the predictions of a re-ID network cannot be directly used during testing without an effective metric. In this work, we bridge the gap by proposing Adversarial Metric Attack, a parallel methodology to adversarial classification attacks. Comprehensive experiments clearly reveal the adversarial effects in re-ID systems. Meanwhile, we also present an early attempt of training a metric-preserving network, thereby defending the metric against adversarial attacks. At last, by benchmarking various adversarial settings, we expect that our work can facilitate the development of adversarial attack and defense in metric-based applications.

研究动机与目标

• 调查基于度量的行人重识别系统在对抗性攻击下的脆弱性，尽管分类模型的对抗性攻击已有广泛研究，但该方向仍属研究空白。
• 解决re-ID中训练（分类损失）与测试（基于度量的推理）之间的自然鸿沟，传统分类攻击无法破坏成对距离度量。
• 提出一种新攻击范式——对抗性度量攻击（Adversarial Metric Attack），专门设计用于操纵距离度量而非分类边界。
• 开发并评估一种利用对抗性样本训练度量保持网络的防御策略，以在攻击下维持鲁棒性。
• 在多种对抗性设置（白盒、黑盒、有目标、无目标、单模型/多模型）下进行基准测试，并发布代码以支持可复现性与未来研究。

提出的方法

• 提出对抗性度量攻击作为分类攻击的并行框架，针对re-ID中使用的度量函数而非模型的分类输出。
• 使用基于梯度的迭代方法（如I-FGSM、MI-FGSM）生成对抗性扰动，以最小化查询图像与真实正样本画廊图像之间的相似性，同时最大化其与错误正样本的相似性。
• 在白盒与黑盒设置下实施攻击，包括单模型与多模型攻击，以评估迁移性与鲁棒性。
• 利用通过所提攻击生成的对抗性样本训练度量保持网络，旨在学习对小扰动不变的特征。
• 在攻击与评估阶段均使用多种距离度量（欧氏距离、XQDA的马氏距离），以研究度量兼容性与迁移效应。
• 在Market-1501与DukeMTMC-reID数据集上，基于mAP与rank-1准确率，在多种对抗性设置与扰动幅度下进行性能基准测试。

实验结果

研究问题

• RQ1 最先进的行人重识别系统在专门针对距离度量而非分类边界的对抗性攻击下有多脆弱？
• RQ2 即使扰动对人类难以察觉，是否仍能有效生成操纵re-ID中成对相似度分数的对抗性样本？
• RQ3 在攻击与评估中使用不同距离度量是否能提升对抗鲁棒性？若能，原因是什么？
• RQ4 是否可利用对抗性样本训练出一种度量保持网络，使其在攻击下仍能维持性能？
• RQ5 在不同对抗性设置（如白盒与黑盒、有目标与无目标）下，随着扰动幅度变化，re-ID模型的性能退化模式如何？

主要发现

• 对抗性度量攻击导致re-ID系统性能急剧下降，在Market-1501数据集上，mAP从干净样本的77.52%降至最低51.03%的对抗性扰动下。
• 该攻击即使在小扰动下也极为有效——例如，5像素幅度的I-FGSM攻击在B1设置下导致mAP降至59.87%，造成显著的度量破坏。
• 在攻击与评估中使用不同度量（如以欧氏距离攻击、以XQDA评估）可提升鲁棒性，表明存在某种形式的黑盒迁移优势。
• 度量保持防御策略在对抗性画廊集上将性能提升高达185%（例如，在B3攻击、B1测试下，mAP从24.72%提升至70.46%）。
• 使用对抗性样本进行训练导致干净数据集性能略有下降（通常<10%），但在对抗性数据集上获得显著提升，证明了有效的鲁棒性学习。
• 所提出的攻击框架具有通用性，可适用于其他基于度量的系统（如人脸识别与跟踪），凸显其在安全关键应用中的广泛影响。