[论文解读] Benchmarks for Corruption Invariant Person Re-identification

Ming‐Hui Chen, Zhiqiang Wang+1 more|arXiv (Cornell University)|Nov 1, 2021

Retinal Imaging and Analysis被引用 18

一句话总结

本论文首次在五个单模态与跨模态数据集（Market-1501、CUHK03、MSMT17、RegDB、SYSU-MM01）上构建了全面的、针对图像退化不变的行人重识别（ReID）基准，应用了20种退化类型，共五个严重程度等级。评估了21种最先进ReID方法，发现基于Transformer的模型比CNN更具鲁棒性，随机擦除会损害退化鲁棒性，且跨数据集泛化能力随退化鲁棒性提升而增强，从而提出了一种性能更强的退化不变基线模型，通过改进数据增强与损失函数设计显著提升了鲁棒性。

ABSTRACT

When deploying person re-identification (ReID) model in safety-critical applications, it is pivotal to understanding the robustness of the model against a diverse array of image corruptions. However, current evaluations of person ReID only consider the performance on clean datasets and ignore images in various corrupted scenarios. In this work, we comprehensively establish six ReID benchmarks for learning corruption invariant representation. In the field of ReID, we are the first to conduct an exhaustive study on corruption invariant learning in single- and cross-modality datasets, including Market-1501, CUHK03, MSMT17, RegDB, SYSU-MM01. After reproducing and examining the robustness performance of 21 recent ReID methods, we have some observations: 1) transformer-based models are more robust towards corrupted images, compared with CNN-based models, 2) increasing the probability of random erasing (a commonly used augmentation method) hurts model corruption robustness, 3) cross-dataset generalization improves with corruption robustness increases. By analyzing the above observations, we propose a strong baseline on both single- and cross-modality ReID datasets which achieves improved robustness against diverse corruptions. Our codes are available on https://github.com/MinghuiChen43/CIL-ReID.

研究动机与目标

• 为解决行人ReID模型在真实世界图像退化下的系统性评估缺失问题，此类退化在安全关键的监控应用中极为常见。
• 建立首个大规模、标准化的跨多样化单模态与跨模态数据集的退化不变行人重识别基准。
• 研究网络架构（CNN与Transformer）以及数据增强方法（如随机擦除）对图像退化鲁棒性的影响。
• 探讨退化鲁棒性与跨数据集泛化能力之间的关系，挑战以往认为合成退化鲁棒性无法泛化到真实世界分布偏移的假设。
• 提出一种强大且实用的退化不变ReID基线模型，通过改进数据增强与损失函数设计提升训练性能。

提出的方法

• 作者通过在Market-1501、CUHK03、MSMT17、RegDB和SYSU-MM01的干净版本上应用20种真实世界退化类型（如噪声、模糊、积雪）及其五个严重程度等级，构建了五个退化不变的ReID基准。
• 退化类型仅在测试阶段应用，训练过程中不接触任何退化样本，从而确保对未见退化的真正泛化能力评估。
• 评估在三种设置下进行：退化查询、退化图库，以及查询与图库均退化，以评估在真实故障模式下的鲁棒性。
• 作者复现并评估了21种近期最先进ReID方法，涵盖基于CNN与Transformer的架构，所有方法均在全部基准上进行测试。
• 通过改进随机擦除、批量归一化颈部（BNNeck）与身份损失，提出一种强健的退化不变基线模型，并通过消融实验验证设计选择的有效性。
• 利用激活图与可视化技术分析不同增强方式对退化条件下特征学习的影响。

实验结果

研究问题

• RQ1 最先进ReID模型在多样化图像退化下的表现如何？与干净设置相比，性能是否显著下降？
• RQ2 基于Transformer的ReID模型是否在图像退化下表现出优于基于CNN的模型的鲁棒性？
• RQ3 训练期间提高随机擦除的概率，是否有助于或损害对真实世界图像退化的鲁棒性？
• RQ4 模型对合成退化的鲁棒性与其在具有分布偏移的数据集间的泛化能力之间是否存在相关性？
• RQ5 能否构建一个强大且可泛化的基线模型，通过改进数据增强与损失函数设计显著提升对退化的鲁棒性？

主要发现

• 基于Transformer的ReID模型在退化测试集上始终优于基于CNN的模型，在所有退化基准上平均mAP提升达10.5%，表明其在噪声与失真条件下学习结构化模式的优越能力。
• 训练期间提高随机擦除概率会显著降低模型在退化数据上的鲁棒性，平均mAP下降达12%，表明其阻碍了模型在退化条件下学习判别性特征。
• 跨数据集泛化性能与退化鲁棒性同步提升，当模型对合成退化具有更高鲁棒性时，在未见数据集上的mAP最高可提升18%，推翻了以往认为合成退化鲁棒性无法泛化的假设。
• 所提出的强基线模型通过改进随机擦除、BNNeck与身份损失，在所有五个基准上均达到最先进性能，相较于标准训练，退化测试集上mAP最高提升7.5%。
• 在SYSU-MM01跨模态基准上，最佳方法（HCTL）在退化条件下达到83.50% mAP，而基线模型将其提升至87.70% mAP，展现出显著的鲁棒性增益。
• 研究发现，对合成退化鲁棒的模型能更好地泛化到真实世界分布偏移，凸显了退化不变学习在真实部署中的实际价值。