[论文解读] Diverse Knowledge Distillation for End-to-End Person Search

Xinyu Zhang, Xinlong Wang+3 more|arXiv (Cornell University)|Dec 21, 2020

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出了一种多样化的知识蒸馏框架，通过利用预训练的外部 Re-ID 模型来增强端到端行人检索的性能，在不牺牲推理效率的前提下提升了准确性。该方法引入了空间不变增强和关系感知蒸馏，使 Re-ID 头部对检测错误更具鲁棒性且更具判别性，在 CUHK-SYSU 和 PRW 数据集上实现了最先进（SOTA）的 mAP 性能，同时保持了单模型推理的效率。

ABSTRACT

Person search aims to localize and identify a specific person from a gallery of images. Recent methods can be categorized into two groups, i.e., two-step and end-to-end approaches. The former views person search as two independent tasks and achieves dominant results using separately trained person detection and re-identification (Re-ID) models. The latter performs person search in an end-to-end fashion. Although the end-to-end approaches yield higher inference efficiency, they largely lag behind those two-step counterparts in terms of accuracy. In this paper, we argue that the gap between the two kinds of methods is mainly caused by the Re-ID sub-networks of end-to-end methods. To this end, we propose a simple yet strong end-to-end network with diverse knowledge distillation to break the bottleneck. We also design a spatial-invariant augmentation to assist model to be invariant to inaccurate detection results. Experimental results on the CUHK-SYSU and PRW datasets demonstrate the superiority of our method against existing approaches -- it achieves on par accuracy with state-of-the-art two-step methods while maintaining high efficiency due to the single joint model. Code is available at: https://git.io/DKD-PersonSearch.

研究动机与目标

• 解决两阶段方法与端到端行人检索方法之间的性能差距，特别是在 Re-ID 准确性方面。
• 识别出在端到端模型中，Re-ID 头部是主要瓶颈，原因在于目标冲突和检测噪声。
• 通过从训练良好的外部 Re-ID 模型中进行知识蒸馏，提升端到端 Re-ID 头部的判别能力。
• 通过图像级和特征级的空间不变数据增强，提升对不准确检测边界框的鲁棒性。
• 通过仅在部署时使用单一联合模型，避免级联推理，从而保持高推理效率。

提出的方法

• 使用图像级空间不变增强（ISA）预训练一个外部 Re-ID 模型，以提升泛化能力。
• 在训练过程中应用特征级空间不变增强（FSA），在特征图中生成偏移的 RoI，以模拟检测误差。
• 实施三种知识蒸馏分支：概率感知蒸馏（probability-aware KD）、成对关系感知蒸馏（pair-wise relation-aware KD）和三元组关系感知蒸馏（triplet-wise relation-aware KD）。
• 利用关系感知蒸馏，将外部 Re-ID 模型中的样本级关系（如相似性/差异性）传递到内部 Re-ID 头部。
• 以端到端方式联合训练检测头和 Re-ID 头，使用蒸馏知识指导 Re-ID 头部，且不共享参数。
• 通过仅依赖单一联合模型进行推理，确保推理效率，外部模型在推理阶段无额外开销。

实验结果

研究问题

• RQ1 为何尽管推理效率更高，端到端行人检索模型的性能仍逊于两阶段方法？
• RQ2 端到端模型中的 Re-ID 头部在多大程度上限制了整体性能？其瓶颈的根本原因是什么？
• RQ3 从预训练的外部 Re-ID 模型中进行知识蒸馏，能否有效提升端到端 Re-ID 头部的性能？
• RQ4 空间不变数据增强在多大程度上能提升行人检索中对不准确检测边界框的鲁棒性？
• RQ5 除了概率蒸馏之外，关系感知知识蒸馏是否能带来更好的 Re-ID 特征判别能力？

主要发现

• Re-ID 头部是端到端行人检索中的主要瓶颈，因为两阶段与端到端模型的检测准确率几乎相同，但 Re-ID 准确率存在显著差异。
• 在 CUHK-SYSU 数据集上，所提方法达到 93.09% 的 mAP，比之前最先进（SOTA）的端到端方法 BINet（87.88% mAP）高出 5.21 个百分点。
• 在 PRW 数据集上，该方法达到 50.51% 的 mAP，优于最佳两阶段方法 TCTS（49.50% mAP）以及所有其他端到端基线方法。
• 该方法保持了高效率，其推理速度与 NAE 相当或更快，且远快于两阶段方法。
• 消融实验表明，若从外部 Re-ID 模型中移除随机擦除（random erasing）或 BNNeck，性能略有下降，但仍优于所有近期方法。
• 该模型在大规模画廊中泛化能力良好，mAP 从 50 张画廊图像降至 4000 张画廊图像时仅出现小幅下降，表明其具备出色的可扩展性。