[论文解读] AdaptiveReID: Adaptive L2 Regularization in Person Re-Identification.

Xingyang Ni, Liang Fang+1 more|arXiv (Cornell University)|Jul 15, 2020

Video Surveillance and Tracking Methods被引用 7

一句话总结

AdaptiveReID 提出了一种可学习的、通过反向传播调整的 L2 正则化机制，能够在训练过程中动态调整正则化因子，取代固定的超参数。通过使用经过硬 Sigmoid 激活的可学习标量，该方法在大规模 MSMT17 数据集上实现了最先进性能，展示了在行人重识别任务中更好的泛化能力。

ABSTRACT

We introduce an adaptive L2 regularization mechanism termed AdaptiveReID, in the setting of person re-identification. In the literature, it is common practice to utilize hand-picked regularization factors which remain constant throughout the training procedure. Unlike existing approaches, the regularization factors in our proposed method are updated adaptively through backpropagation. This is achieved by incorporating trainable scalar variables as the regularization factors, which are further fed into a scaled hard sigmoid function. Extensive experiments on the Market-1501, DukeMTMC-reID and MSMT17 datasets validate the effectiveness of our framework. Most notably, we obtain state-of-the-art performance on MSMT17, which is the largest dataset for person re-identification. Source code will be published at this https URL.

研究动机与目标

• 解决行人重识别模型中固定、人工调优的 L2 正则化因子的局限性。
• 通过使正则化因子在训练过程中自适应调整，提升模型泛化能力。
• 为深度学习中的动态权重衰减开发一种可微分、可学习的机制，用于 ReID 任务。
• 在大规模行人重识别基准上实现最先进性能，特别是 MSMT17 数据集。

提出的方法

• 引入可学习的标量参数作为自适应 L2 正则化因子，取代固定的超参数。
• 通过缩放的硬 Sigmoid 激活函数将这些可学习标量整合到损失函数中，以将取值限制在 0 到 1 之间。
• 通过反向传播在端到端训练过程中更新正则化因子。
• 通过将自适应因子嵌入优化过程，保持与标准深度学习框架的兼容性。
• 将该机制应用于行人重识别的深度度量学习模型。

实验结果

研究问题

• RQ1 与固定正则化相比，自适应、可学习的 L2 正则化是否能提升行人重识别性能？
• RQ2 对正则化因子进行端到端优化是否能提升在大规模数据集上的泛化能力？
• RQ3 所提出的方法是否能在最具挑战性的 ReID 基准 MSMT17 上实现最先进结果？
• RQ4 在收敛性和鲁棒性方面，该自适应正则化机制与标准权重衰减相比表现如何？

主要发现

• AdaptiveReID 在 MSMT17 数据集上实现了最先进性能，该数据集是目前最大的行人重识别基准。
• 该方法通过在训练过程中动态调整正则化强度，提升了模型泛化能力。
• 使用可微分、可学习的正则化因子，显著提升了深度度量学习中的特征判别能力。
• 在所有评估的数据集中，自适应机制在 ReID 准确率方面均优于标准的固定 L2 正则化。