[论文解读] Embedded Self-Distillation in Compact Multi-Branch Ensemble Network for Remote Sensing Scene Classification

Qi Zhao, Yujing Ma+2 more|arXiv (Cornell University)|Apr 1, 2021

Remote-Sensing Image Classification参考文献 65被引用 29

一句话总结

该论文提出 ESD-MBENet，一种具有嵌入式自蒸馏机制的紧凑型多分支集成网络，用于遥感场景分类。通过融合各分支的logits与中间特征，并利用自蒸馏将知识迁移至单一主干分支，该方法在AID、NWPU-RESISC45和UC-Merced数据集上实现了最先进（SOTA）的分类准确率，同时仅通过蒸馏后的主干分支即可实现高效推理。

ABSTRACT

Remote sensing (RS) image scene classification task faces many challenges due to the interference from different characteristics of different geographical elements. To solve this problem, we propose a multi-branch ensemble network to enhance the feature representation ability by fusing features in final output logits and intermediate feature maps. However, simply adding branches will increase the complexity of models and decline the inference efficiency. On this issue, we embed self-distillation (SD) method to transfer knowledge from ensemble network to main-branch in it. Through optimizing with SD, main-branch will have close performance as ensemble network. During inference, we can cut other branches to simplify the whole model. In this paper, we first design compact multi-branch ensemble network, which can be trained in an end-to-end manner. Then, we insert SD method on output logits and feature maps. Compared to previous methods, our proposed architecture (ESD-MBENet) performs strongly on classification accuracy with compact design. Extensive experiments are applied on three benchmark RS datasets AID, NWPU-RESISC45 and UC-Merced with three classic baseline models, VGG16, ResNet50 and DenseNet121. Results prove that our proposed ESD-MBENet can achieve better accuracy than previous state-of-the-art (SOTA) complex models. Moreover, abundant visualization analysis make our method more convincing and interpretable.

研究动机与目标

• 解决包含多样化地理要素的遥感场景分类中因特征表示干扰带来的挑战。
• 克服多分支网络在实际部署中（尤其在嵌入式设备上）计算与内存开销过高的问题。
• 通过端到端可训练架构融合多分支的多层次特征与logits，增强特征表示能力。
• 通过将完整集成网络的知识蒸馏至单一主干分支，实现在推理阶段剪枝子分支，从而实现高效推理。
• 在紧凑且可部署的模型架构下，实现最先进性能。

提出的方法

• 设计一种使用权重共享模块的紧凑型多分支集成网络（ESD-MBENet-v1 和 v2），以极小的参数量增加生成多条路径。
• 在 ESD-MBENet-v1 中引入之字形分支结构，通过不同组合的共享模块生成多样化输出logits。
• 提出 ESD-MBENet-v2，实现分支创建与分割点深度解耦，最大化权重共享与结构效率。
• 在最终logits与中间特征图上均嵌入自蒸馏（SD），使集成网络作为教师网络指导主干分支的学生网络。
• 在logits上使用软标签知识蒸馏，并通过特征图蒸馏，将集成网络中的丰富表征迁移至主干分支。
• 训练完成后，剪枝所有子分支，仅部署主干分支用于推理，从而在显著降低复杂度的同时保持高准确率。

实验结果

研究问题

• RQ1 具有共享权重的紧凑型多分支集成网络是否能有效提升遥感场景分类的特征表示能力？
• RQ2 在logits与中间特征图上同时进行自蒸馏，是否能有效实现从多分支集成网络到单一主干分支的知识迁移？
• RQ3 蒸馏后的主干分支是否能在显著降低推理复杂度的同时，实现与完整集成模型相当的性能？
• RQ4 在基准遥感数据集上，该方法在准确率与效率方面与最先进模型相比表现如何？
• RQ5 该方法是否具备泛化能力，可适用于遥感以外的自然场景分类任务？

主要发现

• ESD-MBENet 在三个基准遥感数据集（AID、NWPU-RESISC45 和 UC-Merced）上实现了最先进分类准确率，超越了先前的SOTA模型。
• 在使用 ResNet50 主干网络的 AID 数据集上，ESD-MBENet-v2 达到 95.78% 的准确率，优于基线模型与先前SOTA方法。
• 在使用 DenseNet121 主干网络的 NWPU-RESISC45 数据集上，ESD-MBENet-v2 达到 95.42% 的准确率，展现出在不同主干网络下的强泛化能力。
• 消融实验表明，同时对logits与特征图进行蒸馏的联合蒸馏策略，性能优于仅蒸馏logits的方案。
• 通过 T-SNE 与 Grad-CAM 可视化显示，ESD-MBENet 学习到的表征更具判别性与聚焦性，尤其在深层网络中表现更优。
• 尽管采用集成结构，最终推理模型仅为单一主干分支，显著降低了 FLOPs 与参数量，同时保持高准确率。