[论文解读] Augmented Hard Example Mining for Generalizable Person Re-Identification

Masato Tamura, Tomokazu MURAKAMI|arXiv (Cornell University)|Oct 11, 2019

Video Surveillance and Tracking Methods参考文献 43被引用 18

一句话总结

本文提出了一种增强型难样本挖掘（AHEM）方法，这是一种简单而有效的数据增强策略，可在不修改网络架构的前提下提升行人重识别（Re-ID）模型的泛化能力。通过基于分类概率识别难样本，应用多种增强操作，并利用基于分类的过滤机制仅保留最具挑战性且真实的样本，AHEM 在多个基准测试中实现了最先进性能，且计算开销极低。

ABSTRACT

Although the performance of person re-identification (Re-ID) has been much improved by using sophisticated training methods and large-scale labelled datasets, many existing methods make the impractical assumption that information of a target domain can be utilized during training. In practice, a Re-ID system often starts running as soon as it is deployed, hence training with data from a target domain is unrealistic. To make Re-ID systems more practical, methods have been proposed that achieve high performance without information of a target domain. However, they need cumbersome tuning for training and unusual operations for testing. In this paper, we propose augmented hard example mining, which can be easily integrated to a common Re-ID training process and can utilize sophisticated models without any network modification. The method discovers hard examples on the basis of classification probabilities, and to make the examples harder, various types of augmentation are applied to the examples. Among those examples, excessively augmented ones are eliminated by a classification based selection process. Extensive analysis shows that our method successfully selects effective examples and achieves state-of-the-art performance on publicly available benchmark datasets.

研究动机与目标

• 为解决在无目标域数据的情况下将 Re-ID 模型部署于未见域的实际挑战。
• 在无目标域标签可用的域泛化（DG）设置中提升模型泛化能力。
• 开发一种无需修改复杂深度网络或增加推理时操作即可提升性能的方法。
• 设计一种数据增强策略，通过基于分类的选择机制过滤掉不真实的样本，避免过度增强。

提出的方法

• 在训练过程中，基于小批量输入图像的低分类概率识别难样本。
• 对选定的难样本应用多种增强类型（如颜色抖动、随机裁剪、旋转和水平翻转），以增加其难度。
• 通过基于分类的筛选过程评估所有增强变体，剔除过度失真或不真实的样本，仅保留最具挑战性且合理的样本。
• 最终选择确保仅使用高质量、难以分类的样本进行反向传播，从而改善特征学习。
• 该方法即插即用：可无缝集成至标准 Re-ID 训练流程中，无需架构修改或额外推理操作。
• 该方法仅在原始小批量数据上使用标准数据增强（如随机水平翻转），以保持真实性并减少分布偏移。

实验结果

研究问题

• RQ1 一种简单、非学习型的选择策略能否有效识别出有助于提升 Re-ID 泛化能力的增强难样本？
• RQ2 当单独使用或组合使用时，该方法与标准数据增强和难样本挖掘相比表现如何？
• RQ3 该方法在不同强度的数据增强水平（弱、中、强）下是否保持鲁棒性？
• RQ4 该选择策略在多大程度上降低了过度增强的风险，同时仍能提升模型性能？
• RQ5 该方法能否在高度优化的模型上部署，而无需架构修改或推理时调优？

主要发现

• 在 VIPeR、PRID、GRID 和 i-LIDS 上，AHEM 分别将 rank-1 准确率提升 7.4%、12.0%、15.2% 和 6.5%，达到最先进性能。
• 该方法优于单独使用数据增强或难样本挖掘，且显著超越两者的组合，证明了选择策略的有效性。
• 在强增强设置下，该方法保持或提升性能，而标准增强则导致性能下降——表明对激进增强具有鲁棒性。
• 在更强增强条件下，选择原始（未增强）难样本的概率上升，表明选择过程能有效过滤掉过度增强的变体。
• 该方法在所有四个基准数据集上均实现一致的性能提升，证实其泛化能力。
• 即使在学习率衰减后，选择策略仍保持有效，表明其在整个训练过程中具有稳定可靠的过滤行为。