[论文解读] Inter-Region Affinity Distillation for Road Marking Segmentation

Yuenan Hou, Zheng Ma+3 more|arXiv (Cornell University)|Apr 11, 2020

Advanced Neural Network Applications参考文献 37被引用 9

一句话总结

该论文提出了一种新型知识蒸馏方法——跨区域亲和知识蒸馏（IntRA-KD），通过从大型教师网络（ResNet-101）向轻量化学生模型迁移结构化场景知识，实现道路标线分割。该方法基于空间区域间特征分布相似性构建跨区域亲和图，使学生模型能够学习全局结构先验，在ApolloScape、CULane和LLAMAS数据集上实现最先进性能，参数量仅为ResNet-101的1/21，推理速度提升16倍。

ABSTRACT

We study the problem of distilling knowledge from a large deep teacher network to a much smaller student network for the task of road marking segmentation. In this work, we explore a novel knowledge distillation (KD) approach that can transfer 'knowledge' on scene structure more effectively from a teacher to a student model. Our method is known as Inter-Region Affinity KD (IntRA-KD). It decomposes a given road scene image into different regions and represents each region as a node in a graph. An inter-region affinity graph is then formed by establishing pairwise relationships between nodes based on their similarity in feature distribution. To learn structural knowledge from the teacher network, the student is required to match the graph generated by the teacher. The proposed method shows promising results on three large-scale road marking segmentation benchmarks, i.e., ApolloScape, CULane and LLAMAS, by taking various lightweight models as students and ResNet-101 as the teacher. IntRA-KD consistently brings higher performance gains on all lightweight models, compared to previous distillation methods. Our code is available at https://github.com/cardwing/Codes-for-IntRA-KD.

研究动机与目标

• 解决在稀疏监督和复杂现实条件下训练小型高效模型进行道路标线分割的挑战。
• 克服现有知识蒸馏方法在传递对准确车道和道路元素预测至关重要的结构化场景关系方面的局限性。
• 通过编码并迁移大型教师模型中的全局结构先验，提升轻量化学生网络的泛化能力和鲁棒性。
• 开发一种可泛化的、与架构无关的蒸馏框架，适用于道路标线分割以外的多种分割任务。

提出的方法

• 将教师网络和学生网络的深层特征图分解为空间区域，形成图中的节点。
• 通过计算区域级特征分布统计量之间的余弦相似度，构建跨区域亲和图。
• 引入时刻池化操作符，从每个区域提取统计特征（均值、方差、偏度），以获得鲁棒的图表示。
• 通过图一致性损失，训练学生网络以匹配教师网络生成的亲和图结构。
• 将跨区域亲和蒸馏损失与其他蒸馏损失（如注意力图蒸馏）结合，实现互补的性能提升。
• 端到端应用该方法，配合标准分割头，并使用标准深度学习训练流程进行优化。

实验结果

研究问题

• RQ1 是否可以通过传输场景中区域之间的结构关系，而非仅传输特征图或logits，来增强知识蒸馏？
• RQ2 建模跨区域特征分布相似性是否能提升轻量化学生模型在道路标线分割中的泛化能力？
• RQ3 IntRA-KD在处理稀疏标注和复杂视觉条件方面，相较于现有蒸馏方法的效能如何？
• RQ4 所提出的方法是否能在不同主干网络架构和分割基准上实现良好泛化？
• RQ5 图-based蒸馏过程中的哪些组件对性能提升贡献最大？

主要发现

• 在ApolloScape数据集上，IntRA-KD使用ERFNet实现43.2 mIoU，其参数量仅为ResNet-101教师网络的1/21（249万参数），推理速度提升16倍（10.2ms），而ResNet-101为171.2ms。
• 在CULane数据集上，IntRA-KD将ERFNet的F1-score提升至72.39，优于其他蒸馏方法，并在低光照和遮挡条件下表现出强鲁棒性。
• 在LLAMAS数据集上，IntRA-KD使用ERFNet实现0.598 mAP，表明在多样化道路环境中具有稳定性能提升。
• 消融实验表明，将跨区域亲和蒸馏与注意力图蒸馏结合可获得最佳性能（43.2 mIoU），其中高层特征蒸馏的贡献大于中层特征。
• 该方法对损失系数选择具有鲁棒性，在{0.05, 0.10, 0.15}不同超参数设置下均保持一致性能。
• 定性结果表明，ERFNet-IntRA-KD在细长车道标线上的预测更完整、更准确，且特征嵌入更具结构化和类别判别性。