[论文解读] Knowledge Distillation for End-to-End Person Search.

Bharti Munjal, Fabio Galasso+1 more|arXiv (Cornell University)|Jan 1, 2019

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出知识蒸馏方法，通过两种教师-学生蒸馏策略改进端到端行人检索：(1) 使用专用检测器进行多层级检测监督；(2) 提出一种新型ID特征查表蒸馏方法，将重识别与检测解耦。该方法在两个基准测试上显著提升性能，并缩小了大模型与小模型之间的准确率差距。

ABSTRACT

We introduce knowledge distillation for end-to-end person search. End-to-End methods are the current state-of-the-art for person search that solve both detection and re-identification jointly. These approaches for joint optimization show their largest drop in performance due to a sub-optimal detector. We propose two distinct approaches for extra supervision of end-to-end person search methods in a teacher-student setting. The first is adopted from state-of-the-art knowledge distillation in object detection. We employ this to supervise the detector of our person search model at various levels using a specialized detector. The second approach is new, simple and yet considerably more effective. This distills knowledge from a teacher re-identification technique via a pre-computed look-up table of ID features. It relaxes the learning of identification features and allows the student to focus on the detection task. This procedure not only helps fixing the sub-optimal detector training in the joint optimization and simultaneously improving the person search, but also closes the performance gap between the teacher and the student for model compression in this case. Overall, we demonstrate significant improvements for two recent state-of-the-art methods using our proposed knowledge distillation approach on two benchmark datasets. Moreover, on the model compression task our approach brings the performance of smaller models on par with the larger models.

研究动机与目标

• 解决联合优化过程中因检测器训练不充分导致的端到端行人检索性能下降问题。
• 通过知识蒸馏提升端到端行人检索模型的泛化能力与准确率。
• 通过将小型学生模型与大型教师模型对齐，实现有效的模型压缩。
• 将重识别学习与检测解耦，使学生模型能专注于检测任务，避免过度拟合于ID特征。

提出的方法

• 使用预训练的专用目标检测器作为教师，对学生模型的检测头在多个特征层级进行知识蒸馏监督。
• 提出一种新颖的蒸馏方法，利用教师重识别模型预计算的ID特征查表，指导学生模型的ID嵌入学习。
• 通过仅传输最具判别性的特征来放松对ID特征的监督，减轻学生重识别头的负担。
• 在联合检测与重识别训练过程中，端到端训练学生模型，同时融合来自检测头和ID特征教师的蒸馏信号。
• 采用多任务损失函数，结合检测损失与蒸馏损失，以平衡联合优化与知识迁移。
• 通过蒸馏训练小型学生模型实现模型压缩，使其性能与大型教师模型相当。

实验结果

研究问题

• RQ1 知识蒸馏能否有效改善因训练不充分而导致性能不佳的端到端行人检索模型中的检测组件？
• RQ2 通过预计算的查表蒸馏ID特征，是否能提升泛化能力并减少联合检测与重识别训练中的干扰？
• RQ3 蒸馏能否弥合行人检索中大型教师模型与小型学生模型之间的性能差距？
• RQ4 与标准目标检测蒸馏方法相比，所提出的蒸馏方法在应用于端到端行人检索时表现如何？

主要发现

• 所提出的蒸馏方法在两个主流行人检索基准上均带来显著的性能提升。
• 基于查表的新型蒸馏方法比标准检测蒸馏更有效，尤其在提升检测准确率方面优势明显。
• 采用该方法的模型压缩技术使小型学生模型达到与大型教师模型相当的性能水平。
• 蒸馏过程有效缓解了联合优化中因检测器训练不充分带来的负面影响，显著提升了整体行人检索准确率。