[论文解读] RingMo-lite: A Remote Sensing Multi-task Lightweight Network with CNN-Transformer Hybrid Framework

Yuelei Wang, Ting Zhang+10 more|arXiv (Cornell University)|Sep 16, 2023

Remote-Sensing Image Classification被引用 5

一句话总结

RingMo-lite 是一种用于遥感图像理解的轻量化 CNN-Transformer 混合基础模型，通过频域建模平衡全局与局部特征提取。通过采用双分支架构与频域感知的掩码图像建模（FD-MIM）预训练策略，其参数量相比 RingMo 减少超过 60%，同时在多个任务上保持接近 SOTA 的性能，平均准确率下降不足 2%。

ABSTRACT

In recent years, remote sensing (RS) vision foundation models such as RingMo have emerged and achieved excellent performance in various downstream tasks. However, the high demand for computing resources limits the application of these models on edge devices. It is necessary to design a more lightweight foundation model to support on-orbit RS image interpretation. Existing methods face challenges in achieving lightweight solutions while retaining generalization in RS image interpretation. This is due to the complex high and low-frequency spectral components in RS images, which make traditional single CNN or Vision Transformer methods unsuitable for the task. Therefore, this paper proposes RingMo-lite, an RS multi-task lightweight network with a CNN-Transformer hybrid framework, which effectively exploits the frequency-domain properties of RS to optimize the interpretation process. It is combined by the Transformer module as a low-pass filter to extract global features of RS images through a dual-branch structure, and the CNN module as a stacked high-pass filter to extract fine-grained details effectively. Furthermore, in the pretraining stage, the designed frequency-domain masked image modeling (FD-MIM) combines each image patch's high-frequency and low-frequency characteristics, effectively capturing the latent feature representation in RS data. As shown in Fig. 1, compared with RingMo, the proposed RingMo-lite reduces the parameters over 60% in various RS image interpretation tasks, the average accuracy drops by less than 2% in most of the scenes and achieves SOTA performance compared to models of the similar size. In addition, our work will be integrated into the MindSpore computing platform in the near future.

研究动机与目标

• 为解决在边缘设备和在轨平台部署高资源消耗的遥感基础模型的挑战。
• 设计一种轻量化但具备泛化能力的基础模型，使其在多任务遥感视觉任务中保持高精度。
• 克服单一架构模型（CNN 或视觉 Transformer）在处理遥感图像复杂光谱与空间特性方面的局限性。
• 通过利用频域特征实现高效、自监督的预训练，以提升低资源环境下的表征学习能力。
• 开发一种统一的轻量化框架，适用于多样化的遥感应用，包括分类、检测、分割和变化检测。

提出的方法

• 该模型采用双分支架构：基于 Transformer 的分支充当低通滤波器，用于提取全局低频特征；基于 CNN 的分支则作为级联高通滤波器，用于捕捉细粒度的高频细节。
• 提出一种新颖的频域掩码图像建模（FD-MIM）预训练方法，通过联合掩码和重建图像块的高频与低频分量，增强特征表征学习能力。
• 频域感知特征块（FIFB）模块通过在频域中分离并处理低频与高频内容，显式建模光谱分量。
• 网络通过在大规模遥感数据集上进行自监督预训练，随后在下游任务上进行微调，实现端到端训练。
• 通过架构设计实现模型压缩，而非依赖知识蒸馏或神经架构搜索，从而在不增加额外训练阶段的情况下减少参数量。
• 该框架设计为兼容 MindSpore 计算平台，以支持未来部署。

Figure 1: Comparison of RimgMo and our proposed RingMo-lite from four dimensions: data (use 85% smaller image datasets for pretraining MIM), pretraining methods (use frequency domain for more RS features), encoder (over 60% fewer parameters) and decoder (similar computer vision tasks).

实验结果

研究问题

• RQ1 轻量化的遥感基础模型是否能在显著减少参数量的同时实现接近 SOTA 的性能？
• RQ2 如何在 CNN-Transformer 混合架构中有效利用遥感图像的频域特性？
• RQ3 频域感知的预训练方法（FD-MIM）是否能提升低资源和多任务遥感场景下的特征表征能力？
• RQ4 双分支设计在多样化遥感任务中，对全局与局部特征提取的平衡程度如何？
• RQ5 与现有轻量化模型及更大的基础模型（如 RingMo）相比，所提模型在效率与准确率方面表现如何？

主要发现

• RingMo-lite 相较原始 RingMo 基础模型，参数量减少超过 60%，同时在多个遥感任务中平均准确率下降不足 2%。
• 在 LEVIR-CD 数据集上，RingMo-lite 在变化检测任务中实现 99.15% 的 F1 分数，仅使用 RingMo 17% 的 FLOPs，展现出极高的效率。
• 在同等参数规模模型中，该模型达到 SOTA 性能，其在准确率与参数效率方面均优于 Swin Tiny 和基于 DiFormer 的模型。
• FD-MIM 预训练方法提升了泛化能力，在 LEVIR-CD 数据集上相比基线方法整体准确率（OA）提升 0.06%。
• FIFB 模块增强了特征学习能力，在使用 Swin Tiny 作为主干网络时，相比基线方法 OA 提升 0.03%。
• 尽管模型尺寸紧凑，RingMo-lite 在分类、目标检测、语义分割和变化检测等任务中仍保持强大的泛化能力，如表 XIV 所示。

Figure 2: Examples of frequency-domain comparison between specific target area and large-scale scene area in different RS scenes. The 3D frequency domain diagram in the second row is calculated based on the spectral components, where the closer to the center represents the low-frequency part, and th