[论文解读] Augmentation-Free Dense Contrastive Knowledge Distillation for Efficient Semantic Segmentation

Jiawei Fan, Chao Li+3 more|arXiv (Cornell University)|Dec 7, 2023

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了一种无数据增强的密集对比知识蒸馏方法（Af-DCD），这是一种新型的对比蒸馏方法，用于高效语义分割，通过利用通道和空间维度上的细粒度掩码特征划分，消除了数据增强和内存缓冲区的需求。Af-DCD实现了最先进性能，在使用DeepLabV3-Res18和DeepLabV3-MobilenetV2作为学生模型、DeepLabV3-Res101作为教师模型时，于Cityscapes数据集上分别创下77.03%和76.38%的mIOU新纪录。

ABSTRACT

In recent years, knowledge distillation methods based on contrastive learning have achieved promising results on image classification and object detection tasks. However, in this line of research, we note that less attention is paid to semantic segmentation. Existing methods heavily rely on data augmentation and memory buffer, which entail high computational resource demands when applying them to handle semantic segmentation that requires to preserve high-resolution feature maps for making dense pixel-wise predictions. In order to address this problem, we present Augmentation-free Dense Contrastive Knowledge Distillation (Af-DCD), a new contrastive distillation learning paradigm to train compact and accurate deep neural networks for semantic segmentation applications. Af-DCD leverages a masked feature mimicking strategy, and formulates a novel contrastive learning loss via taking advantage of tactful feature partitions across both channel and spatial dimensions, allowing to effectively transfer dense and structured local knowledge learnt by the teacher model to a target student model while maintaining training efficiency. Extensive experiments on five mainstream benchmarks with various teacher-student network pairs demonstrate the effectiveness of our approach. For instance, the DeepLabV3-Res18|DeepLabV3-MBV2 model trained by Af-DCD reaches 77.03%|76.38% mIOU on Cityscapes dataset when choosing DeepLabV3-Res101 as the teacher, setting new performance records. Besides that, Af-DCD achieves an absolute mIOU improvement of 3.26%|3.04%|2.75%|2.30%|1.42% compared with individually trained counterpart on Cityscapes|Pascal VOC|Camvid|ADE20K|COCO-Stuff-164K. Code is available at https://github.com/OSVAI/Af-DCD

研究动机与目标

• 为解决现有对比知识蒸馏方法在语义分割中依赖数据增强和内存缓冲区所导致的高计算与内存开销问题。
• 保留并传递来自教师网络的密集、结构化的局部知识，尤其是边界和遮挡区域的知识。
• 设计一种内在高效的对比蒸馏框架，避免额外的训练时间和GPU内存开销。
• 在像素级别显式建模学生与教师特征之间的局部块内关系，提升细粒度特征对齐效果。
• 在保持训练效率和跨多种数据集及网络架构可扩展性的前提下，实现语义分割的最先进性能。

提出的方法

• Af-DCD引入了一种掩码特征重建策略，以在不将特征图存储于内存缓冲区的情况下保留高分辨率特征图。
• 通过在通道和空间维度上对特征图进行不相交的细粒度表示划分，提出了一种新型对比损失。
• 正样本对被定义为同一图像中教师和学生特征图在相同绝对位置的对应细粒度特征划分。
• 负样本对通过对比同一特征图内不同空间位置的划分形成，以促进判别性表征学习。
• 该方法基于学生与教师特征划分之间的归一化L2距离构建对比损失，确保在微观层面的对齐。
• 该框架将此对比损失与标准任务损失和特征蒸馏损失相结合，实现无需数据增强的端到端训练。

实验结果

研究问题

• RQ1 是否能够设计一种无需依赖数据增强或内存缓冲区的语义分割对比蒸馏方法，以实现高性能？
• RQ2 细粒度的、局部块内的特征划分在从教师模型向学生模型传递密集且结构化知识方面，效果如何？
• RQ3 在通道和空间维度上进行全方位对比（omni-dimensional contrasting）对模型在复杂分割场景下的泛化能力和性能有何影响？
• RQ4 与现有对比蒸馏方法（如CIRKD）相比，该方法在效率和准确性方面表现如何，特别是在GPU内存占用和训练时间方面？
• RQ5 该方法在提升具有挑战性的分割情况（如物体边界、小物体和遮挡区域）方面的改善程度如何？

主要发现

• 当使用DeepLabV3-Res18作为学生模型、DeepLabV3-Res101作为教师模型时，Af-DCD在Cityscapes数据集上实现了77.03%的新最先进mIOU。
• 与在Cityscapes数据集上独立训练的基线模型相比，该方法mIOU提升了3.26%。
• 在Pascal VOC、Camvid、ADE20K和COCO-Stuff-164K数据集上，该方法分别实现了3.04%、2.75%、2.30%和1.42%的绝对mIOU提升。
• 该方法将GPU内存使用量从CIRKD的10.09 GB降低至7.94 GB，训练时间从4.34小时减少至4.23小时，同时性能得到提升。
• 可视化结果表明，Af-DCD显著减少了学生与教师特征在细粒度层面的距离，并增强了自相似性分布，从而改善了边界和遮挡等困难情况的分割效果。
• 消融实验表明，该方法对超参数变化具有鲁棒性，最大池化相比更大的划分数量能提供更好的效率。