[论文解读] MTU-Net: Multi-level TransUNet for Space-based Infrared Tiny Ship Detection

Tianhao Wu, Boyang Li+7 more|arXiv (Cornell University)|Sep 28, 2022

Infrared Target Detection Methodologies被引用 15

一句话总结

该论文提出MTU-Net，一种用于星载红外微小舰船检测的多层级视觉Transformer-CNN混合神经网络，结合新颖的CRRP数据增强方法与FocalIoU损失函数，以提升对微弱、微小且形态多变目标的检测性能。在新提出的NUDT-SIRST-Sea数据集中，MTU-Net实现了最先进性能，mAP为64.14%，检测概率为85.44%，每幅图像误报数为11.72个。

ABSTRACT

Space-based infrared tiny ship detection aims at separating tiny ships from the images captured by earth orbiting satellites. Due to the extremely large image coverage area (e.g., thousands square kilometers), candidate targets in these images are much smaller, dimer, more changeable than those targets observed by aerial-based and land-based imaging devices. Existing short imaging distance-based infrared datasets and target detection methods cannot be well adopted to the space-based surveillance task. To address these problems, we develop a space-based infrared tiny ship detection dataset (namely, NUDT-SIRST-Sea) with 48 space-based infrared images and 17598 pixel-level tiny ship annotations. Each image covers about 10000 square kilometers of area with 10000X10000 pixels. Considering the extreme characteristics (e.g., small, dim, changeable) of those tiny ships in such challenging scenes, we propose a multi-level TransUNet (MTU-Net) in this paper. Specifically, we design a Vision Transformer (ViT) Convolutional Neural Network (CNN) hybrid encoder to extract multi-level features. Local feature maps are first extracted by several convolution layers and then fed into the multi-level feature extraction module (MVTM) to capture long-distance dependency. We further propose a copy-rotate-resize-paste (CRRP) data augmentation approach to accelerate the training phase, which effectively alleviates the issue of sample imbalance between targets and background. Besides, we design a FocalIoU loss to achieve both target localization and shape description. Experimental results on the NUDT-SIRST-Sea dataset show that our MTU-Net outperforms traditional and existing deep learning based SIRST methods in terms of probability of detection, false alarm rate and intersection over union.

研究动机与目标

• 为解决由于成像距离长、场景覆盖范围大，导致在星载红外图像中检测极小、微弱且形态多变的舰船所面临的挑战。
• 克服现有短距离SIRST数据集与方法在星载场景中泛化能力不足的局限性。
• 构建一个大规模、高分辨率、像素级标注的星载红外微小舰船检测数据集。
• 设计一种深度学习框架，有效捕捉长距离上下文依赖关系，提升对微小目标的定位与分割性能。
• 通过新颖的数据增强与损失函数设计，降低复杂背景下的误报率，提升检测精度。

提出的方法

• 提出一种多层级特征提取模块（MVTM），将卷积特征图与视觉Transformer模块相结合，以同时捕捉局部与长距离依赖关系。
• 引入一种复制-旋转-缩放-粘贴（CRRP）数据增强策略，通过保留上下文与长距离信息，减轻类别不平衡问题，提升模型训练效果。
• 采用视觉Transformer-CNN混合编码器，从高分辨率星载红外图像中提取分层多级特征。
• 设计一种FocalIoU损失函数，平衡难样本挖掘与IoU优化，提升微小目标的定位精度与形状描述能力。
• 在NUDT-SIRST-Sea数据集上端到端训练MTU-Net模型，结合所提出的损失函数与数据增强策略，增强检测鲁棒性。

实验结果

研究问题

• RQ1 如何使深度学习模型适应在大场景覆盖的星载红外图像中检测极小且微弱的舰船？
• RQ2 何种数据增强策略能有效缓解星载红外图像中的类别不平衡问题，并保留上下文信息？
• RQ3 视觉Transformer与CNN的混合架构是否能在捕捉长距离依赖关系方面优于标准CNN，从而提升微小目标检测性能？
• RQ4 与Focal损失和SoftIoU损失等标准损失函数相比，所提出的FocalIoU损失在提升定位精度与形状描述方面有何优势？
• RQ5 所提出的MTU-Net架构在新的大规模、高分辨率星载红外舰船检测基准上，检测性能提升程度如何？

主要发现

• MTU-Net实现64.14%的交并比（IoU），显著优于Focal损失（53.16%）与SoftIoU损失（62.00%）基线模型。
• 模型检测概率（Pd）达到85.44%，较Focal损失基线提升0.74%，展现出对微小目标更强的敏感性。
• 误报率降低至每幅图像11.72个，表明FocalIoU损失能有效抑制背景响应与误报。
• CRRP数据增强方法通过保留长距离上下文特征，减少误报，提升在复杂背景下的泛化能力。
• NUDT-SIRST-Sea数据集包含48幅10000×10000像素的图像，共17,598个像素级标注，其平均目标尺寸最小（1.7×1.7像素），信噪比（SNR）最低，为现有SIRST数据集中最小者。
• 与采用CRRP数据增强的基线模型相比，所提出的MTU-Net模型在IoU上提升11.96×10⁻⁶，在误报率上降低5.05%。