[论文解读] KD-SCFNet: Towards More Accurate and Efficient Salient Object Detection via Knowledge Distillation

Jin Zhang, Qiuwei Liang+1 more|arXiv (Cornell University)|Aug 3, 2022

Visual Attention and Saliency Detection被引用 5

一句话总结

该论文提出KD-SCFNet，一种轻量级但高精度的显著性目标检测模型，通过利用大型教师网络的知识蒸馏技术，增强语义引导的上下文融合网络（SCFNet）中的特征融合。该方法在新构建的80,000张图像数据集KD-SOD80K上，通过知识蒸馏实现了SOTA精度，参数量少于100万，推理速度达174 FPS，优于参数量更大的模型。

ABSTRACT

Most existing salient object detection (SOD) models are difficult to apply due to the complex and huge model structures. Although some lightweight models are proposed, the accuracy is barely satisfactory. In this paper, we design a novel semantics-guided contextual fusion network (SCFNet) that focuses on the interactive fusion of multi-level features for accurate and efficient salient object detection. Furthermore, we apply knowledge distillation to SOD task and provide a sizeable dataset KD-SOD80K. In detail, we transfer the rich knowledge from a seasoned teacher to the untrained SCFNet through unlabeled images, enabling SCFNet to learn a strong generalization ability to detect salient objects more accurately. The knowledge distillation based SCFNet (KDSCFNet) achieves comparable accuracy to the state-of-the-art heavyweight methods with less than 1M parameters and 174 FPS real-time detection speed. Extensive experiments demonstrate the robustness and effectiveness of the proposed distillation method and SOD framework. Code and data: https://github.com/zhangjinCV/KD-SCFNet.

研究动机与目标

• 通过设计轻量级但强大的网络结构，解决显著性目标检测（SOD）中模型效率与精度之间的权衡问题。
• 克服现有轻量级SOD模型为追求速度和参数效率而牺牲精度的局限性。
• 通过从大规模预训练教师网络迁移知识（利用无标签数据），使小型模型具备强大的泛化能力。
• 构建大规模、高质量的数据集KD-SOD80K，以支持SOD中的知识蒸馏并提升模型泛化能力。
• 在保持与SOTA重型模型相当的检测精度的同时，实现174 FPS的实时推理速度。

提出的方法

• 提出SCFNet，一种语义引导的上下文融合网络，通过增强多层级特征交互，提升显著性表征能力。
• 应用知识蒸馏技术，通过无标签图像将预训练教师模型的知识迁移至未训练的SCFNet学生模型。
• 采用特征级蒸馏，对齐学生模型的特征图与教师模型的特征图，提升学生模型的泛化能力和检测精度。
• 设计损失函数，结合蒸馏损失与监督损失，指导学生网络在训练过程中的优化。
• 利用包含80,000张图像且具有高质量标注的KD-SOD80K数据集，训练并评估蒸馏流程。
• 通过最小化参数量（少于100万）优化学生模型的推理速度，同时借助蒸馏知识保持高精度。

实验结果

研究问题

• RQ1 知识蒸馏是否能在不增加参数量的前提下，显著提升轻量级SOD模型的精度？
• RQ2 从大型教师网络进行蒸馏，在SOD任务中是否能有效增强小型学生网络的泛化能力？
• RQ3 新构建的数据集KD-SOD80K是否能提升基于蒸馏的SOD模型的鲁棒性与性能？
• RQ4 像SCFNet这样的轻量级模型在保持实时推理速度的同时，能在多大程度上实现SOTA精度？
• RQ5 SCFNet中的语义引导特征融合机制相较于标准特征聚合方式，如何促进更优的显著性预测？

主要发现

• 尽管参数量少于100万，KD-SCFNet的检测精度与SOTA重型模型相当。
• 该模型实现了174 FPS的实时推理速度，展现出适合实际部署的强高效性。
• 知识蒸馏显著提升了学生模型的泛化能力，使其在检测显著性目标方面比基线轻量级模型更准确。
• 所提出的KD-SOD80K数据集提升了基于蒸馏的SOD模型性能，促进了更鲁棒、更具泛化能力的特征学习。
• SCFNet中的语义引导上下文融合机制有效捕捉了长距离依赖关系，改善了特征表征，从而提升了检测性能。
• 蒸馏与高效网络结构设计的结合，使KD-SCFNet在准确率和速度指标上均优于现有轻量级SOD模型。