[论文解读] Local Contrast and Global Contextual Information Make Infrared Small Object Salient Again

Chenyi Wang, Huan Wang+1 more|arXiv (Cornell University)|Jan 28, 2023

Infrared Target Detection Methodologies被引用 7

一句话总结

该论文提出UCFNet，一种基于U-Net的红外小目标分割（ISOS）模型，结合中心差分卷积（CDC）以增强局部对比度，以及快速傅里叶卷积（FFC）以捕捉全局上下文，同时保持高分辨率特征。该方法在公开的ISOS基准上实现了最先进性能，显著提升了mIoU和检测召回率，同时减少了误报。

ABSTRACT

Infrared small object detection (ISOS) aims to segment small objects only covered with several pixels from clutter background in infrared images. It's of great challenge due to: 1) small objects lack of sufficient intensity, shape and texture information; 2) small objects are easily lost in the process where detection models, say deep neural networks, obtain high-level semantic features and image-level receptive fields through successive downsampling. This paper proposes a reliable detection model for ISOS, dubbed UCFNet, which can handle well the two issues. It builds upon central difference convolution (CDC) and fast Fourier convolution (FFC). On one hand, CDC can effectively guide the network to learn the contrast information between small objects and the background, as the contrast information is very essential in human visual system dealing with the ISOS task. On the other hand, FFC can gain image-level receptive fields and extract global information while preventing small objects from being overwhelmed.Experiments on several public datasets demonstrate that our method significantly outperforms the state-of-the-art ISOS models, and can provide useful guidelines for designing better ISOS deep models. Code are available at https://github.com/wcyjerry/BasicISOS.

研究动机与目标

• 为解决红外小目标分割（ISOS）中因小目标缺乏足够强度、形状和纹理线索而带来的挑战。
• 缓解深层网络中过度下采样导致的小目标在特征提取过程中丢失的问题。
• 设计一种深度学习模型，有效整合局部对比度与全局上下文信息，以提升分割精度。
• 提供一种可靠且可泛化的ISOS主干网络，其性能优于现有最先进方法。

提出的方法

• 所提出的UCFNet架构是U-Net的变体，通过引入中心差分卷积（CDC）进行增强，该方法通过强调小目标与其背景之间的对比度，模拟人类视觉系统的行为。
• CDC通过可学习参数θ计算中心像素值与其周围邻域像素值的差异，从而增强对检测微弱、小尺寸目标至关重要的局部对比度特征。
• 快速傅里叶卷积（FFC）通过在频域执行卷积操作，从高分辨率特征图中提取全局上下文信息，实现在不进行下采样的前提下获得图像级感受野。
• FFC模块以残差单元形式堆叠，以在聚合长距离依赖关系的同时保留空间细节，防止小目标在特征抽象过程中丢失。
• 该模型在编码器和解码器路径中联合集成CDC与FFC，以同步优化局部显著性与全局上下文感知能力。
• 消融实验验证了设计选择的合理性，包括CDC的最优θ=0.7，以及五层FFC残差模块可实现最佳性能。

实验结果

研究问题

• RQ1 如何有效提取局部对比度信息，以增强信噪比低的红外图像中小目标的检测能力？
• RQ2 能否在不依赖深层下采样层的前提下，在高分辨率特征图中捕捉全局上下文？
• RQ3 CDC与FFC相较于其他先进卷积算子（如可变形卷积、门控卷积）在ISOS任务中的表现如何？
• RQ4 CDC与FFC组件的最佳配置是什么，以最大化分割性能？
• RQ5 联合使用CDC与FFC是否能产生协同增益，优于单独使用任一组件？

主要发现

• UCFNet同时采用CDC与FFC时，在SIRST数据集上达到最高的mIoU（80.89%），显著优于基线UCF（74.14%）。
• 仅添加CDC即可使mIoU提升1.81个百分点（至75.95%），并将误报率（Fa）从4.83×10⁻⁶降低至3.46×10⁻⁶。
• 仅使用FFC即可实现最佳mIoU（79.55%）与100%的Pd，且Fa降低至1.82×10⁻⁶，表明其在全局上下文学习方面的有效性。
• 联合使用CDC与FFC可实现最佳整体性能，Pd为100%，Fa为2.22×10⁻⁶，表明检测召回率高且误报率低。
• 消融实验表明，θ=0.7的CDC可实现最优性能，五层FFC残差模块表现最佳，验证了模型设计的鲁棒性。
• 与替代方案相比，CDC在ISOS任务中优于门控卷积与可变形卷积，FFC在mIoU与Fa指标上均优于空洞卷积与双注意力模块。