[论文解读] LWGANet: Addressing Spatial and Channel Redundancy in Remote Sensing Visual Tasks with Light-Weight Grouped Attention

Lu Wei, Yang, Xue+1 more|ArXiv.org|Jan 17, 2025

Infrared Target Detection Methodologies被引用 6

一句话总结

LWGANet 提出一个轻量级骨干网络和新颖的 LWGA 模块，利用遥感图像的多尺度特征，在分类、检测、分割和变化检测任务中以低复杂度实现强大性能。

ABSTRACT

Light-weight neural networks for remote sensing (RS) visual analysis must overcome two inherent redundancies: spatial redundancy from vast, homogeneous backgrounds, and channel redundancy, where extreme scale variations render a single feature space inefficient. Existing models, often designed for natural images, fail to address this dual challenge in RS scenarios. To bridge this gap, we propose LWGANet, a light-weight backbone engineered for RS-specific properties. LWGANet introduces two core innovations: a Top-K Global Feature Interaction (TGFI) module that mitigates spatial redundancy by focusing computation on salient regions, and a Light-Weight Grouped Attention (LWGA) module that resolves channel redundancy by partitioning channels into specialized, scale-specific pathways. By synergistically resolving these core inefficiencies, LWGANet achieves a superior trade-off between feature representation quality and computational cost. Extensive experiments on twelve diverse datasets across four major RS tasks--scene classification, oriented object detection, semantic segmentation, and change detection--demonstrate that LWGANet consistently outperforms state-of-the-art light-weight backbones in both accuracy and efficiency. Our work establishes a new, robust baseline for efficient visual analysis in RS images.

研究动机与目标

• 在资源受限的环境中，证明需要能够处理大尺度对象变化的高效遥感骨干网络。
• 开发一个带有专用 LWGA 模块的轻量级骨干网络 LWGANet，以在不增加计算负担的情况下提取多尺度特征。
• 通过利用专门的注意力子模块中的冗余特征信息，解决遥感特定挑战。
• 证明 LWGANet 在多数据集上的遥感场景分类、定向对象检测、语义分割和变化检测等任务的广泛适用性。

提出的方法

• 提出 LWGANet，是一个具有四阶段的骨干网络，特征图逐步下采样并含有 LWGA 块。
• 提出轻量级分组注意力（LWGA）模块，以复用冗余特征并在不产生额外空间代价的情况下提取从局部到全局的尺度信息。
• 在 LWGA 内部嵌入四个子模块：GPA（gate point attention）、RLA（regular local attention）、SMA（sparse medium-range attention）和 SGA（sparse global attention），以覆盖多样的尺度。
• 在 LWGA 中，将输入分成四部分并应用 TGFI（top-k global feature interaction）以捕捉显著的全局线索同时保持坐标信息。
• 在 LWGA 之后使用通道MLP（CMLP）进行通道方向的精炼，并通过残差连接实现稳定性。
• 使用 DRFD 进行下采样以保留细节，从而实现多阶段遥感特征提取。
• 在某些任务上进行不进行预训练的遥感场景分类训练，以及对于检测/分割任务采用标准做法（一些任务进行 ImageNet-1K 预训练 300 轮）。

实验结果

研究问题

• RQ1 一个带有专用分组注意力模块的轻量骨干网络是否能在保持低计算成本的同时有效建模遥感对象的多尺度？
• RQ2 遥感专用的注意力机制（GPA、RLA、SMA、SGA）与标准全局/局部注意力在提取细粒度遥感特征方面有何差异？
• RQ3 基于 LWGANet 的管线是否在遥感场景分类、检测、分割和变化检测数据集上实现准确性、参数量和推理速度之间的有利权衡？

主要发现

• LWGANet 在遥感场景分类数据集（UCM、AID、NWPU）上始终超越选定的 SOTA 轻量骨干，同时提供更高的吞吐量。
• 在遥感目标检测和分割基准上，LWGANet-L2/L0 变体在参数量和 FLOPs 相较于若干强基线具有竞争性的 mAP 和 mIoU。
• LWGA 模块通过将 TGFI 与为遥感影像设计的子模块（GPA、RLA、SMA、SGA）结合，实现在不增加空间维度的情况下对多尺度特征的有效提取。
• 实证结果显示在 GPU、CPU 和 ARM 平台上具有有利的准确性-参数-FPS 平衡，强调 LWGANet 适合资源受限部署。