[论文解读] Infrared Small-Dim Target Detection with Transformer under Complex Backgrounds

Fangcen Liu, Chenqiang Gao+4 more|arXiv (Cornell University)|Sep 29, 2021

Infrared Target Detection Methodologies参考文献 57被引用 27

一句话总结

本文提出一种基于 transformer 的红外小尺寸目标检测框架，该框架利用自注意力实现大范围特征交互、一个用于区分性目标特征的特征增强模块，以及类 U-Net 的解码器以保留目标信息，在 MFIRST 和 SIRST 数据集上达到当前最先进的结果。

ABSTRACT

The infrared small-dim target detection is one of the key techniques in the infrared search and tracking system. Since the local regions similar to infrared small-dim targets spread over the whole background, exploring the interaction information amongst image features in large-range dependencies to mine the difference between the target and background is crucial for robust detection. However, existing deep learning-based methods are limited by the locality of convolutional neural networks, which impairs the ability to capture large-range dependencies. Additionally, the small-dim appearance of the infrared target makes the detection model highly possible to miss detection. To this end, we propose a robust and general infrared small-dim target detection method with the transformer. We adopt the self-attention mechanism of the transformer to learn the interaction information of image features in a larger range. Moreover, we design a feature enhancement module to learn discriminative features of small-dim targets to avoid miss detection. After that, to avoid the loss of the target information, we adopt a decoder with the U-Net-like skip connection operation to contain more information of small-dim targets. Finally, we get the detection result by a segmentation head. Extensive experiments on two public datasets show the obvious superiority of the proposed method over state-of-the-art methods and the proposed method has stronger cross-scene generalization and anti-noise performance.

研究动机与目标

• 在复杂背景下推动鲁棒的红外小尺寸目标检测，目标微小且易与杂波混淆。
• 通过使用自注意力来建模图像令牌之间的长程依赖，解决卷积神经网络的局部性限制。
• 通过专门的特征增强模块提升小目标的判别特征。
• 通过类 U-Net 的解码器在上采样时保留目标信息，以提升基于分割的检测效果。
• 展示相对于最新方法的更优性能与跨场景泛化能力。

提出的方法

• 用基于 ResNet-50 的特征嵌入模块对图像进行编码，获得带位置信息的紧凑特征令牌。
• 使用由若干编码层构成的复合编码器，每层包含多头自注意力（MSA）和特征增强模块（FEM），以学习大范围交互并增强小目标特征。
• 采用类 U-Net 的跳跃连接解码器进行上采样和特征融合，生成用于分割的置信度图。
• 应用基于 Sigmoid 的置信度图和自适应阈值化来实现最终检测。损失函数结合 IoU 目标以解决类别不平衡并聚焦于小目标区域。

实验结果

研究问题

• RQ1 transformer 架构是否能比 CNN 更有效地捕捉大范围交互，以在复杂背景中区分极小的红外目标？
• RQ2 在 transformer 框架内，是否专门的特征增强模块能够提升对小尺寸目标的判别能力？
• RQ3 类 U-Net 的解码器在上采样过程中是否有助于保留小目标信息，从而实现更准确的检测？
• RQ4 在跨场景和添加高斯噪声的条件下，与现有方法相比，该方法的性能表现如何？

主要发现

• 所提出的方法在 MFIRST 和 SIRST 数据集上，在不同目标类型上在 Pd、AUC 和 F1 分数方面优于最先进的模型驱动和深度学习方法。
• 在 MFIRST 上，该方法达到 Pd 90.08%、AUC 89.34%、F1t 92.59%、F1p 64.59%；在 SIRST 上达到 Pd 100.00%、AUC 99.14%、F1t 98.62%、F1p 83.16%（耗时：每 100 张图像 6.41 秒）。
• 消融研究表明，去除池化层会降低性能，而加入特征增强模块和深层编码器可在 MFIRST 上将 Pd 提升约 3.03%、AUC 提升约 4.57%。
• 该方法在跨场景泛化方面比 ACM 与 MDvsFA 显示出更强的鲁棒性，例如在 MFIRST 训练后在 SIRST 上的测试相比 MDvsFA 的 Pd 提升约 0.93%、AUC 提升约 2.07%；在 SIRST 训练后在 MFIRST 上的测试相比 ACM 的 Pd 提升约 20.52%、AUC 提升约 23.53%。
• 在高斯噪声条件下，所提出的方法保持更强的鲁棒性，随着噪声方差的增大，性能衰减速度慢于竞争方法。
• 定性结果显示在极具挑战性的背景下，如高噪声、杂乱场景和微弱目标，较少误报且更好地保留目标。