[论文解读] DarkRank: Accelerating Deep Metric Learning via Cross Sample Similarities Transfer

Yuntao Chen, Naiyan Wang+1 more|arXiv (Cornell University)|Jul 5, 2017

Video Surveillance and Tracking Methods参考文献 36被引用 21

一句话总结

DarkRank 通过将深度度量学习教师网络所学习到的跨样本相似性作为知识，迁移至更小的学⽣网络，以实现模型压缩与加速。通过将相似性迁移建模为一种列表式学习排序问题，该方法在重识别、检索和聚类等度量学习任务中显著提升了学生网络的性能，实现高达3倍的推理速度提升，且精度损失极小。

ABSTRACT

We have witnessed rapid evolution of deep neural network architecture design in the past years. These latest progresses greatly facilitate the developments in various areas such as computer vision and natural language processing. However, along with the extraordinary performance, these state-of-the-art models also bring in expensive computational cost. Directly deploying these models into applications with real-time requirement is still infeasible. Recently, Hinton etal. have shown that the dark knowledge within a powerful teacher model can significantly help the training of a smaller and faster student network. These knowledge are vastly beneficial to improve the generalization ability of the student model. Inspired by their work, we introduce a new type of knowledge -- cross sample similarities for model compression and acceleration. This knowledge can be naturally derived from deep metric learning model. To transfer them, we bring the "learning to rank" technique into deep metric learning formulation. We test our proposed DarkRank method on various metric learning tasks including pedestrian re-identification, image retrieval and image clustering. The results are quite encouraging. Our method can improve over the baseline method by a large margin. Moreover, it is fully compatible with other existing methods. When combined, the performance can be further boosted.

研究动机与目标

• 解决最先进的深度度量学习模型在自动驾驶等延迟敏感应用中计算成本过高的问题。
• 克服现有知识蒸馏方法仅能迁移类内实例知识（如每样本的logits或特征）的局限性。
• 利用样本间关系——跨样本相似性——作为模型压缩与加速的新形式知识。
• 开发一种与现有知识蒸馏和模型压缩技术完全兼容的方法，以实现性能的联合提升。
• 在缺乏类别级别监督的监督和自监督度量学习设置中，实现有效的知识迁移。

提出的方法

• 引入预训练教师网络嵌入空间中的跨样本相似性作为新型知识。
• 将这些相似性的迁移形式化为教师与学生网络之间的列表式学习排序问题。
• 修改经典列表式排序损失，使学生嵌入空间中样本对的相对排序与教师网络保持一致。
• 通过结合标准分类损失、对比损失、三元组损失以及所提出的相似性迁移损失来训练学生网络。
• 通过允许与类内知识迁移（如FitNet风格的特征L2损失）联合训练，确保与现有蒸馏方法的兼容性。
• 使用现成的网络架构（如NIN-BN、Inception-BN）作为学生和教师模型，无需架构重新设计。

实验结果

研究问题

• RQ1 教师网络嵌入空间中的跨样本相似性能否作为有效知识，用于在深度度量学习中蒸馏更小的学生网络？
• RQ2 如何有效将跨样本相似性知识迁移至学生模型，以提升下游度量学习性能？
• RQ3 所提出的相似性迁移方法是否能在重识别、图像检索和聚类等多样化度量学习任务中泛化？
• RQ4 在使用该知识迁移方法时，学生模型在保持性能的前提下，最大可实现多大程度的加速？
• RQ5 所提出的方法能否与现有类内知识蒸馏技术结合，进一步缩小教师与学生模型之间的性能差距？

主要发现

• DarkRank 在行人重识别任务中显著提升了学生模型性能（Market1501：Rank-1 86.7%，CUHK03：Rank-1 88.7%），优于基线方法。
• 在CUB-200-2011数据集上，DarkRank 实现0.168 F1、0.483 NMI 和 0.340 Recall@1，优于学生基线（0.153 F1、0.461 NMI、0.311 Recall@1）。
• 在Pascal Titan X上，该方法实现了最高2.96倍的加速（526 vs. 178张图像/秒），且与教师模型相比性能损失极小。
• 当与FitNet（类内特征蒸馏）结合时，DarkRank 实现了显著的性能提升，表明其知识迁移具有互补性。
• 该方法在监督和自监督设置下均有效，因其依赖于实例级相似性信号而非类别标签。
• 仅使用DarkRank训练的学生网络在部分指标上达到或超过教师网络性能（如CUB-200-2011上F1为0.172 vs. 0.168），表明其具备强大的知识迁移能力。