[论文解读] Knowledge Adaptation for Efficient Semantic Segmentation

Tong He, Chunhua Shen+4 more|arXiv (Cornell University)|Mar 12, 2019

Advanced Neural Network Applications参考文献 27被引用 20

一句话总结

本文提出了一种用于高效语义分割的知识蒸馏框架，通过特征转换和亲和力蒸馏，从更大的教师网络向紧凑的学生网络迁移知识。通过使用预训练自编码器来适应高层特征，并利用亲和力模块保留长距离空间依赖关系，该方法在仅使用全精度基线模型8%参数量（FLOPS）的情况下，将Cityscapes数据集上的mIOU提升至72.7，增幅达2.5个百分点。

ABSTRACT

Both accuracy and efficiency are of significant importance to the task of semantic segmentation. Existing deep FCNs suffer from heavy computations due to a series of high-resolution feature maps for preserving the detailed knowledge in dense estimation. Although reducing the feature map resolution (i.e., applying a large overall stride) via subsampling operations (e.g., pooling and convolution striding) can instantly increase the efficiency, it dramatically decreases the estimation accuracy. To tackle this dilemma, we propose a knowledge distillation method tailored for semantic segmentation to improve the performance of the compact FCNs with large overall stride. To handle the inconsistency between the features of the student and teacher network, we optimize the feature similarity in a transferred latent domain formulated by utilizing a pre-trained autoencoder. Moreover, an affinity distillation module is proposed to capture the long-range dependency by calculating the non-local interactions across the whole image. To validate the effectiveness of our proposed method, extensive experiments have been conducted on three popular benchmarks: Pascal VOC, Cityscapes and Pascal Context. Built upon a highly competitive baseline, our proposed method can improve the performance of a student network by 2.5\% (mIOU boosts from 70.2 to 72.7 on the cityscapes test set) and can train a better compact model with only 8\% float operations (FLOPS) of a model that achieves comparable performances.

研究动机与目标

• 为解决语义分割中的精度-效率权衡问题，即高分辨率特征图可提升精度但增加计算成本。
• 使输出步长大而紧凑的学生网络能够匹配或超越更大模型的性能。
• 解决知识蒸馏中密集预测任务下学生与教师网络之间特征分布不匹配的问题。
• 在不增加参数量或推理计算量的前提下，保留蒸馏知识中的长距离空间依赖关系。
• 开发一种专用于语义分割的知识蒸馏方法，同时利用特征级和关系性知识迁移。

提出的方法

• 基于预训练自编码器的知识转换器将教师网络的高维、高分辨率特征映射到紧凑的潜在空间，以实现更易转移的表示。
• 知识适配器将学生的最终特征图投影到与教师特征相同的潜在空间，以对齐其分布并减少域偏移。
• 亲和力蒸馏模块计算整个图像范围内的非局部交互，以捕捉教师和学生特征中的长距离依赖关系。
• 学生网络通过多任务损失函数进行训练，该损失函数结合了使用硬标签的交叉熵损失、来自转换特征的知识蒸馏损失，以及来自非局部注意力图的亲和力蒸馏损失。
• 该方法不增加参数量或推理FLOPs，因此适用于实时部署。
• 该框架在Pascal VOC、Cityscapes和Pascal Context基准上采用标准优化方法进行端到端训练，并保持一致的训练协议。

实验结果

研究问题

• RQ1 知识蒸馏能否有效提升大输出步长的轻量化语义分割模型性能？
• RQ2 在语义分割的知识迁移过程中，如何缓解学生与教师网络之间的特征分布不匹配问题？
• RQ3 在不增加模型复杂度的前提下，蒸馏知识中能多大程度地保留长距离空间依赖关系？
• RQ4 通过知识适配，紧凑的学生网络能否在显著降低FLOPs的前提下实现最先进性能？
• RQ5 所提出方法是否在精度-效率权衡上优于标准知识蒸馏及其他轻量化模型？

主要发现

• 在Cityscapes测试集上，该方法将学生模型的mIOU从70.2%提升至72.7%，提升2.5个百分点，同时仅使用了可比全精度模型8%的FLOPS。
• 在Pascal VOC验证集上，该方法使MobileNetV2基线模型的mIOU提升了1.0个百分点，达到75.8 mIOU。
• 在Pascal Context数据集上，该方法将基线性能提升了1.3 mIOU点，证明了其在不同数据集上的泛化能力。
• 消融实验证实，知识适配模块和亲和力蒸馏模块均不可或缺，其中后者显著提升了长距离上下文建模能力。
• 该方法在不引入额外参数或FLOPs的前提下，优于其他轻量化模型的精度表现，证明了其高效性与有效性。
• 可视化结果表明，与学生基线模型和标准蒸馏方法相比，该方法生成的分割图更加精确且细节保留更完整。