[论文解读] DnS: Distill-and-Select for Efficient and Accurate Video Indexing and Retrieval

Giorgos Kordopatis-Zilos, Christos Tzelepis+3 more|arXiv (Cornell University)|Jul 14, 2022

Advanced Image and Video Retrieval Techniques参考文献 63被引用 2

一句话总结

本文提出 DnS（Distill-and-Select），一种知识蒸馏框架，通过一个高性能教师模型训练多个具有不同准确率-效率权衡的学生网络。在推理阶段，一个选择器网络动态地将查询路由到最合适的学生模型，从而在检索性能、速度和存储之间实现平衡，使检索速度最快提升 55 倍，存储量减少 240 倍，且在 FIVR-200K 数据集上仅损失 0.041 的 mAP。

ABSTRACT

In this paper, we address the problem of high performance and computationally efficient content-based video retrieval in large-scale datasets. Current methods typically propose either: (i) fine-grained approaches employing spatio-temporal representations and similarity calculations, achieving high performance at a high computational cost or (ii) coarse-grained approaches representing/indexing videos as global vectors, where the spatio-temporal structure is lost, providing low performance but also having low computational cost. In this work, we propose a Knowledge Distillation framework, called Distill-and-Select (DnS), that starting from a well-performing fine-grained Teacher Network learns: a) Student Networks at different retrieval performance and computational efficiency trade-offs and b) a Selector Network that at test time rapidly directs samples to the appropriate student to maintain both high retrieval performance and high computational efficiency. We train several students with different architectures and arrive at different trade-offs of performance and efficiency, i.e., speed and storage requirements, including fine-grained students that store/index videos using binary representations. Importantly, the proposed scheme allows Knowledge Distillation in large, unlabelled datasets -- this leads to good students. We evaluate DnS on five public datasets on three different video retrieval tasks and demonstrate a) that our students achieve state-of-the-art performance in several cases and b) that the DnS framework provides an excellent trade-off between retrieval performance, computational speed, and storage space. In specific configurations, the proposed method achieves similar mAP with the teacher but is 20 times faster and requires 240 times less storage space. The collected dataset and implementation are publicly available: https://github.com/mever-team/distill-and-select.

研究动机与目标

• 通过结合细粒度与粗粒度方法的优势，解决大规模视频检索中的性能-效率权衡问题。
• 开发一种可扩展的框架，在显著降低计算和存储成本的同时保持高检索精度。
• 在大规模未标注视频数据集上实现知识蒸馏，训练高质量的学生模型，而无需依赖昂贵的标注。
• 设计一个选择器网络，在推理阶段根据相似度置信度智能地将查询路由到最合适的的学生模型。
• 在多个视频检索基准上实现最先进性能，实现速度、准确率和存储之间的最优权衡。

提出的方法

• 通过从高性能的细粒度教师模型进行知识蒸馏，训练多种架构和复杂度各异的学生网络。
• 引入专用学生模型，如用于低存储、高速检索的二值化学生模型，以及用于高准确率的注意力机制学生模型。
• 利用粗粒度与细粒度相似度预测之间的差异来训练选择器网络，以判断何时应使用更准确但计算成本更高的细粒度学生模型。
• 在推理阶段使用选择器，将每个查询路由到最合适的学生模型，从而在保持检索质量的同时最小化计算开销。
• 利用大规模未标注数据集进行蒸馏，使学生模型能够有效训练，而无需依赖昂贵的标注。
• 优化蒸馏过程，以保留细粒度学生模型中的时空结构，以及粗粒度和二值化变体中的紧凑表示。

实验结果

研究问题

• RQ1 知识蒸馏能否有效应用于大规模未标注视频数据集，以训练高效且准确的检索模型？
• RQ2 动态路由机制在多大程度上能改善视频检索中检索准确率与计算效率之间的平衡？
• RQ3 从单一教师模型训练多个学生网络时，模型准确率、推理速度和存储需求之间的最优权衡是什么？
• RQ4 选择器网络能否可靠识别出粗粒度相似度分数不足的情况，并触发使用细粒度模型进行重排序？
• RQ5 在标准视频检索基准上，蒸馏后的学生模型在性能和效率方面能否显著优于现有最先进方法？

主要发现

• DnS 框架在多个视频检索基准上实现了最先进性能，包括 FIVR-200K、TACoS 和 ActivityNet。
• 在 FIVR-200K 上，采用二值化学生模型的 DnS5% 配置实现比 ViSiL 教师模型快 55 倍的检索速度和 240 倍更低的存储量，且平均平均精度（mAP）仅下降 0.041。
• 采用 30% 重排序的 DnS 框架在两个数据集上的性能优于 ViSiL 教师模型，表明动态路由在计算成本可接受时能有效提升准确率。
• 粗粒度学生模型实现了近乎即时的查询处理，其检索时间比细粒度模型快几个数量级，尽管准确率相对较低。
• 细粒度注意力学生模型在四个评估数据集中的两个上优于其他学生模型，尽管计算需求更高，但实现了高准确率。
• 选择器网络通过仅将模糊查询路由至昂贵的细粒度模型，有效减少了其不必要的使用，在保持高效率的同时未造成显著性能损失。