[论文解读] Fast Video Salient Object Detection via Spatiotemporal Knowledge Distillation

Yi Tang, Yuan Li+1 more|arXiv (Cornell University)|Oct 20, 2020

Visual Attention and Saliency Detection参考文献 40被引用 4

一句话总结

本文提出一种基于时空知识蒸馏的轻量化视频显著性目标检测网络，通过避免使用复杂的序列模块实现高精度检测。通过结合空间蒸馏与显著性引导特征嵌入，以及利用推理帧特征编码实现的时间蒸馏，该方法在仅需每帧0.01秒推理时间的情况下实现了最先进性能。

ABSTRACT

Since the wide employment of deep learning frameworks in video salient object detection, the accuracy of the recent approaches has made stunning progress. These approaches mainly adopt the sequential modules, based on optical flow or recurrent neural network (RNN), to learn robust spatiotemporal features. These modules are effective but significantly increase the computational burden of the corresponding deep models. In this paper, to simplify the network and maintain the accuracy, we present a lightweight network tailored for video salient object detection through the spatiotemporal knowledge distillation. Specifically, in the spatial aspect, we combine a saliency guidance feature embedding structure and spatial knowledge distillation to refine the spatial features. In the temporal aspect, we propose a temporal knowledge distillation strategy, which allows the network to learn the robust temporal features through the infer-frame feature encoding and distilling information from adjacent frames. The experiments on widely used video datasets (e.g., DAVIS, DAVSOD, SegTrack-V2) prove that our approach achieves competitive performance. Furthermore, without the employment of the complex sequential modules, the proposed network can obtain high efficiency with 0.01s per frame.

研究动机与目标

• 解决现有视频显著性目标检测模型依赖光学流或RNN等复杂序列模块所带来的高计算成本问题。
• 在显著降低模型复杂度和推理时间的同时保持高检测精度。
• 设计一种轻量化网络，利用知识蒸馏提取鲁棒的时空特征，而无需外部序列模块。
• 验证空间与时间知识蒸馏组件在提升视频显著性特征表示能力方面的有效性。

提出的方法

• 引入显著性引导特征嵌入模块，通过聚焦显著区域来增强空间特征表示。
• 采用空间知识蒸馏，通过将教师特征图的知识迁移至学生网络来优化特征表示。
• 提出时间知识蒸馏，利用相邻帧特征作为监督信号，指导当前帧的特征学习。
• 通过引入互注意力模块的推理帧特征编码模块，融合相邻帧的高层特征。
• 使用加权组合的交叉熵损失与蒸馏损失，平衡因子 α = 0.7 以优化训练过程。
• 通过利用网络自身预测作为监督信号实现自蒸馏，减少对外部教师模型的依赖。

实验结果

研究问题

• RQ1 知识蒸馏能否有效应用于视频显著性目标检测，以在不牺牲精度的前提下降低模型复杂度？
• RQ2 在不使用光学流或RNN的情况下，如何在轻量化网络中有效学习时空特征？
• RQ3 如何最优地编码并传递相邻帧的信息以提升时间建模能力？
• RQ4 交叉熵损失与蒸馏损失之间的平衡对最终性能有何影响？

主要发现

• 所提方法在DAVIS数据集上达到F-measure 0.883和MAE 0.022，优于无序列模块的基线模型。
• 引入空间知识蒸馏后，F-measure提升1.9%，MAE降低1.4%。
• 结合推理帧特征编码的时间蒸馏，特别是采用“Multiply”操作或互注意力机制时，性能显著提升，F-measure达0.882–0.883。
• 损失加权的最优平衡因子 α 为0.7，该值在交叉熵损失与蒸馏损失之间实现了最佳权衡。
• 推理时间降低至仅每帧0.01秒，展现出高效率，同时保持了优异的精度。
• 在测试阶段可移除推理帧特征编码模块而性能不下降，进一步提升了推理速度。