[论文解读] Adaptive L2 Regularization in Person Re-Identification
该论文提出了一种用于行人重识别的自适应L2正则化机制，其中正则化因子为可通过反向传播优化的可学习参数，并采用缩放的硬Sigmoid函数进行约束。该方法在大规模MSMT17数据集上实现了最先进性能，将ResNet50基线模型的mAP从57.7%提升至59.4%。
We introduce an adaptive L2 regularization mechanism in the setting of person re-identification. In the literature, it is common practice to utilize hand-picked regularization factors which remain constant throughout the training procedure. Unlike existing approaches, the regularization factors in our proposed method are updated adaptively through backpropagation. This is achieved by incorporating trainable scalar variables as the regularization factors, which are further fed into a scaled hard sigmoid function. Extensive experiments on the Market-1501, DukeMTMC-reID and MSMT17 datasets validate the effectiveness of our framework. Most notably, we obtain state-of-the-art performance on MSMT17, which is the largest dataset for person re-identification. Source code is publicly available at https://github.com/nixingyang/AdaptiveL2Regularization.
研究动机与目标
- 解决深度学习中行人重识别固定且人工设定的L2正则化因子的局限性。
- 通过在训练过程中动态调整正则化强度，提升模型泛化能力。
- 开发一种可学习且可微分的L2正则化机制，以适应不同层的特定需求。
- 在大规模行人重识别基准（尤其是MSMT17）上实现最先进性能。
提出的方法
- 引入可学习的标量变量作为正则化因子，并在反向传播过程中进行更新。
- 应用缩放的硬Sigmoid函数，将正则化因子约束在可学习范围内。
- 将自适应正则化整合到损失函数中，作为可学习的L2惩罚项。
- 按层类型（conv_kernel、conv_bias、bn_gamma、bn_beta、dense_kernel）对正则化因子进行分类，以供分析。
- 实验采用ResNet50主干网络，并在Market-1501、DukeMTMC-reID和MSMT17上进行评估。
- 在所有数据集上均采用重排序后处理技术，进一步提升性能。
实验结果
研究问题
- RQ1具有可学习因子的自适应L2正则化是否能提升行人重识别模型的泛化能力？
- RQ2正则化强度的动态调整对MSMT17等大规模数据集的性能有何影响？
- RQ3不同层类型是否需要不同的正则化强度，且能否实现独立学习？
- RQ4与标准的固定L2正则化相比，所提方法在mAP和rank-1准确率方面是否表现更优？
- RQ5该自适应正则化机制是否可推广至行人重识别以外的其他深度学习任务？
主要发现
- 在使用ResNet50主干网络的MSMT17数据集上，所提自适应L2正则化将mAP从57.7%提升至59.4%。
- 该方法在MSMT17上实现了最先进性能，该数据集是目前评估的最大规模行人重识别数据集。
- 在DukeMTMC-reID数据集上，该方法性能接近最先进水平，结合重排序后mAP达到90.7%。
- conv_bias的正则化因子收敛至零，反映出批归一化对偏置项的抵消作用。
- 最终正则化因子的直方图显示各层间存在显著差异，表明实现了层特定的优化。
- 重排序的使用进一步将mAP提升至Market-1501的94.4%、DukeMTMC-reID的90.7%以及MSMT17的76.7%。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。