[论文解读] Lightweight Salient Object Detection in Optical Remote-Sensing Images via Semantic Matching and Edge Alignment

Gongyang Li, Zhi Liu+2 more|arXiv (Cornell University)|Jan 7, 2023

Visual Attention and Saliency Detection被引用 5

一句话总结

本文提出 SeaNet，一种用于光学遥感图像的轻量化显著目标检测网络，通过在高层特征中利用动态语义匹配、在低层特征中采用边缘自对齐机制，在计算成本极低的前提下实现高精度检测。该方法在轻量化模型中达到最先进性能，仅使用 2.76M 参数和 1.7G FLOPs 即可处理 288×288 输入图像。

ABSTRACT

Recently, relying on convolutional neural networks (CNNs), many methods for salient object detection in optical remote sensing images (ORSI-SOD) are proposed. However, most methods ignore the huge parameters and computational cost brought by CNNs, and only a few pay attention to the portability and mobility. To facilitate practical applications, in this paper, we propose a novel lightweight network for ORSI-SOD based on semantic matching and edge alignment, termed SeaNet. Specifically, SeaNet includes a lightweight MobileNet-V2 for feature extraction, a dynamic semantic matching module (DSMM) for high-level features, an edge self-alignment module (ESAM) for low-level features, and a portable decoder for inference. First, the high-level features are compressed into semantic kernels. Then, semantic kernels are used to activate salient object locations in two groups of high-level features through dynamic convolution operations in DSMM. Meanwhile, in ESAM, cross-scale edge information extracted from two groups of low-level features is self-aligned through L2 loss and used for detail enhancement. Finally, starting from the highest-level features, the decoder infers salient objects based on the accurate locations and fine details contained in the outputs of the two modules. Extensive experiments on two public datasets demonstrate that our lightweight SeaNet not only outperforms most state-of-the-art lightweight methods but also yields comparable accuracy with state-of-the-art conventional methods, while having only 2.76M parameters and running with 1.7G FLOPs for 288x288 inputs. Our code and results are available at https://github.com/MathLee/SeaNet.

研究动机与目标

• 解决现有基于 CNN 的光学遥感图像显著目标检测方法在参数量和计算成本过高的问题。
• 开发一种轻量化网络，在保持高精度的同时适用于移动设备和便携式部署。
• 通过专用模块对低层和高层特征进行差异化处理，提升检测性能。
• 引入高层特征的动态语义匹配机制与低层特征的边缘自对齐机制，以增强定位精度与细节保留能力。

提出的方法

• 采用 MobileNet-V2 作为轻量化主干网络，高效提取光学遥感图像的特征。
• 引入动态语义匹配模块（DSMM），将高层特征压缩为语义核，并通过动态卷积实现对显著目标位置的匹配。
• 在 DSMM 中引入通道相关机制，增强通道间的特征交互，提升语义表征能力。
• 在 DSMM 中使用空洞深度可分离卷积（DDconvs），在不增加参数量的前提下捕捉多尺度显著目标。
• 提出边缘自对齐模块（ESAM），提取跨尺度边缘特征，并通过 L2 损失实现对齐，以增强边缘细节。
• 采用轻便解码器，融合优化后的高层语义特征与增强的低层边缘特征，生成高精度显著图。

实验结果

研究问题

• RQ1 轻量化网络是否能在显著降低模型大小与 FLOPs 的同时，实现与现有方法相当甚至更优的性能？
• RQ2 通过压缩语义核实现的动态语义匹配，在定位显著目标位置方面效果如何？
• RQ3 在不增加计算成本的前提下，边缘自对齐在低层特征中对细节保留的提升程度如何？
• RQ4 通道级与空间级的特征交互在所提模块性能中分别起到何种作用？

主要发现

• SeaNet 在 EORSSD 数据集上取得 0.8519 的平均 Fβ 分数，优于所有其他轻量化 ORSI-SOD 方法，包括 CorrNet 与 HVPNet。
• 仅使用 2.76M 参数与 1.7G FLOPs 即可处理 288×288 输入，SeaNet 显著优于当前最先进常规方法（如 PA-KRN，参数量 141.06M，FLOPs 617.7G）。
• 消融实验表明，DSMM 与 ESAM 的所有组件均至关重要：移除空间匹配（w/o SM）使 Eξ_mean 降至 0.9595；移除边缘对齐（w/o alignment）导致所有指标性能下降。
• DSMM 中采用空洞 DDconvs 可实现更优的多尺度目标感知，相比非空洞版本，Fβ_mean 性能下降减少 0.29%。
• DSMM 与 ESAM 中的通道相关机制至关重要，移除后性能显著下降，证明跨通道特征交互的重要性。
• SeaNet 变体（如 SeaNet-SAM）在参数量（1.51M）与 FLOPs（1.4G）与 HVPNet（1.23M，1.1G）相近时，Fβ_mean 超过 HVPNet 超过 10%，证明其具备更优的效率-精度权衡能力。