[论文解读] Backbone Can Not be Trained at Once: Rolling Back to Pre-trained Network for Person Re-Identification

Youngmin Ro, Jongwon Choi+4 more|arXiv (Cornell University)|Jan 18, 2019

Video Surveillance and Tracking Methods参考文献 43被引用 5

一句话总结

本文提出了一种新颖的行人重识别（ReID）微调策略，通过定期将高层权重回滚至预训练值，解决了低层网络中的梯度消失问题，从而实现更深层次且更有效的训练。该方法在Market-1501和DukeMTMC数据集上取得了最先进性能，且无需添加姿态估计或分割等额外模块。

ABSTRACT

In person re-identification (ReID) task, because of its shortage of trainable dataset, it is common to utilize fine-tuning method using a classification network pre-trained on a large dataset. However, it is relatively difficult to sufficiently fine-tune the low-level layers of the network due to the gradient vanishing problem. In this work, we propose a novel fine-tuning strategy that allows low-level layers to be sufficiently trained by rolling back the weights of high-level layers to their initial pre-trained weights. Our strategy alleviates the problem of gradient vanishing in low-level layers and robustly trains the low-level layers to fit the ReID dataset, thereby increasing the performance of ReID tasks. The improved performance of the proposed strategy is validated via several experiments. Furthermore, without any add-ons such as pose estimation or segmentation, our strategy exhibits state-of-the-art performance using only vanilla deep convolutional neural network architecture.

研究动机与目标

• 解决在ReID微调过程中由于梯度消失导致低层网络收敛性差的挑战。
• 通过更有效地训练低层滤波器，提升行人重识别的特征判别能力。
• 在不增加姿态估计器或分割掩码等外部模块的前提下，提升预训练主干网络的性能。
• 通过将其应用于细粒度图像分类任务，验证该方法在ReID之外的通用性。

提出的方法

• 提出一种回滚微调策略：当训练停滞时，将高层层权重重置为预训练值。
• 采用迭代微调，通过周期性地恢复权重，重新激活流向低层的梯度。
• 使用两阶段训练策略：先进行初始微调，随后执行多次带有高层权重回滚的微调循环。
• 通过监控训练损失和mAP来检测过早收敛，并触发回滚机制。
• 在保持端到端反向传播的同时，选择性地恢复高层权重，以重新激活深层网络的学习能力。
• 使用标准ResNet主干网络和标准交叉熵损失实现该方法，无需对网络架构或损失函数进行修改。

实验结果

研究问题

• RQ1 在ReID微调过程中，能否缓解预训练网络低层中的梯度消失问题？
• RQ2 定期回滚高层权重是否能提升ReID模型的泛化性能？
• RQ3 一种简单、即插即用的策略能否超越包含姿态估计或注意力掩码等复杂模块的模型？
• RQ4 与标准微调和FC热身方法相比，该方法在收敛性和mAP方面表现如何？

主要发现

• 该回滚策略在使用ResNet-50时，显著提升了Market-1501（77.0%）和DukeMTMC（66.6%）的mAP，超越了使用额外模块的最先进方法。
• 在Market-1501上，该方法在ResNet-34上达到75.0% mAP，在ResNet-101上达到79.9% mAP，表明其在不同主干网络深度下均具有良好的可扩展性。
• 在Market-1501上，该方法在不添加任何附加组件的情况下，相比SVDNet、HAP2S_P和PSE等SOTA方法，mAP提升超过7个百分点。
• 尽管训练损失更高，该方法在泛化性能上仍优于FC热身策略，表明其具备更强的泛化能力。
• 与标准微调相比，该方法在最后一卷积层的特征图中显示出更具有判别性的前景注意力。
• 该方法在细粒度分类任务上也表现更优，证实其在视觉任务中具有更广泛的适用性。