[论文解读] ILNet: Low-level Matters for Salient Infrared Small Target Detection

Haoqing Li, Jinfu Yang+2 more|arXiv (Cornell University)|Sep 24, 2023

Infrared Target Detection Methodologies被引用 4

一句话总结

该论文提出ILNet，一种用于红外小目标检测的新型深度学习框架，通过引入交互极化正交融合（IPOF）模块和代表性模块（RB）来优先考虑低层次特征，实现动态特征融合。通过保留高分辨率的低层次特征并利用DODA层自适应聚合，ILNet在NUAA-SIRST数据集（78.22% nIoU，1.33×10⁻⁶ Fa）和IRSTD-1K数据集（68.91% nIoU，3.23×10⁻⁶ Fa）上实现了最先进性能，展现出随着数据量增加的优越鲁棒性。

ABSTRACT

Infrared small target detection is a technique for finding small targets from infrared clutter background. Due to the dearth of high-level semantic information, small infrared target features are weakened in the deep layers of the CNN, which underachieves the CNN's representation ability. To address the above problem, in this paper, we propose an infrared low-level network (ILNet) that considers infrared small targets as salient areas with little semantic information. Unlike other SOTA methods, ILNet pays greater attention to low-level information instead of treating them equally. A new lightweight feature fusion module, named Interactive Polarized Orthogonal Fusion module (IPOF), is proposed, which integrates more important low-level features from the shallow layers into the deep layers. A Dynamic One-Dimensional Aggregation layers (DODA) are inserted into the IPOF, to dynamically adjust the aggregation of low dimensional information according to the number of input channels. In addition, the idea of ensemble learning is used to design a Representative Block (RB) to dynamically allocate weights for shallow and deep layers. Experimental results on the challenging NUAA-SIRST (78.22% nIoU and 1.33e-6 Fa) and IRSTD-1K (68.91% nIoU and 3.23e-6 Fa) dataset demonstrate that the proposed ILNet can get better performances than other SOTA methods. Moreover, ILNet can obtain a greater improvement with the increasement of data volume. Training code are available at https://github.com/Li-Haoqing/ILNet.

研究动机与目标

• 为解决CNN中深度衰减问题，即小红外目标在深层因高层次特征不足而丢失语义信息。
• 通过将小红外目标重新理解为语义内容极少的显著区域而非语义对象，提升检测性能。
• 通过优先考虑浅层的低层次特征并有效整合到深层解码阶段，增强特征融合。
• 通过DODA和RB模块实现的动态自适应特征聚合，减少误报和漏检。
• 展示随着训练数据量增加，模型在泛化能力方面的提升，突出其可扩展性和鲁棒性。

提出的方法

• 交互极化正交融合（IPOF）模块通过保留高分辨率低层次特征，并利用正交注意力将它们与深层特征融合，实现编码器与解码器之间的双向特征融合。
• 在IPOF中集成动态一维聚合（DODA）层，根据输入通道数动态调整特征聚合，提升低维特征的表征能力。
• 代表性块（RB）利用集成学习方法，动态分配浅层与深层特征之间的注意力权重，增强特征融合并缓解深度衰减。
• IPOF通过保持高内部分辨率，最小化下采样过程中的信息损失，确保小目标特征在网络深度中得以保留。
• RB模块采用一种新颖的特征增强策略，利用浅层特征引导深层表征，优于标准上采样方法（如双线性插值或最近邻插值）。
• 整个网络采用基于分割的损失函数进行端到端训练，将红外小目标检测视为显著目标检测任务。

实验结果

研究问题

• RQ1 在基于CNN的网络中优先考虑低层次特征，是否能显著提升语义内容极少的红外小目标检测性能？
• RQ2 通过DODA层实现的动态特征聚合，如何影响深层中低维特征的表征？
• RQ3 具有动态权重分配的代表性块（RB）在多大程度上可减少深度衰减并提升检测精度？
• RQ4 所提出的IPOF模块与标准跳跃连接和特征融合模块相比，在保留小目标细节方面表现如何？
• RQ5 ILNet是否在训练数据量增加时表现出更好的泛化能力和可扩展性？

主要发现

• ILNet在NUAA-SIRST数据集上达到78.22% nIoU和1.33×10⁻⁶ Fa，优于所有对比的最先进方法。
• 在IRSTD-1K数据集上，ILNet实现68.91% nIoU和3.23×10⁻⁶ Fa，表明其在各类基准上均保持一致的优越性。
• 消融实验表明，IPOF与RB结合可获得最佳性能（78.12% IoU，76.42% nIoU，5.50 Fa），证实二者具有协同效应。
• 与基线相比，IPOF模块结合DODA将误报减少45.5%，凸显其在噪声抑制方面的有效性。
• 采用浅层到深层特征增强的RB模块将误报降至7.76 Fa，显著优于双线性插值（10.25 Fa）和Carafe（8.87 Fa）等标准上采样方法。
• ILNet在数据量增加时表现出更大的性能提升，表明其具备强大的可扩展性，未来具备数据驱动优化潜力。