[论文解读] Background Semantics Matter: Cross-Task Feature Exchange Network for Clustered Infrared Small Target Detection

Mengxuan Xiao, Zhu, Yinfei+6 more|arXiv (Cornell University)|Jul 29, 2024

Infrared Target Detection Methodologies被引用 4

一句话总结

本文提出 BAFE-Net，一种多任务网络，通过跨任务特征硬交换，联合执行红外小目标检测与背景语义分割，在密集目标场景中显著提升检测精度并减少误报。该方法在新提出的天空标注数据集 DenseSIRST 上得到验证，并引入一种新颖的数据增强策略 BAG-CP，通过仅将目标粘贴至天空区域来增强训练效果。

ABSTRACT

Infrared small target detection presents significant challenges due to the limited intrinsic features of the target and the overwhelming presence of visually similar background distractors. We contend that background semantics are critical for distinguishing between objects that appear visually similar in this context. To address this challenge, we propose a task, clustered infrared small target detection, and introduce DenseSIRST, a benchmark dataset that provides per-pixel semantic annotations for background regions. This dataset facilitates the shift from sparse to dense target detection. This dataset facilitates the shift from sparse to dense target detection. Building on this resource, we propose the Background-Aware Feature Exchange Network (BAFE-Net), a multi-task architecture that jointly tackles target detection and background semantic segmentation. BAFE-Net incorporates a dynamic cross-task feature hard-exchange mechanism, enabling the effective exchange of target and background semantics between the two tasks. Comprehensive experiments demonstrate that BAFE-Net significantly enhances target detection accuracy while mitigating false alarms. The DenseSIRST dataset, along with the code and trained models, is publicly available at https://github.com/GrokCV/BAFE-Net.

研究动机与目标

• 解决在复杂背景下检测密集分布的红外小目标的挑战，传统方法因与干扰物视觉相似而失效。
• 通过引入专为密集、集群目标场景设计的新检测范式，克服聚焦稀疏目标方法的局限性。
• 利用背景语义信息提升真实目标与误报之间的区分度，尤其在建筑物等非均匀背景中表现更优。
• 构建一个新的基准数据集 DenseSIRST，提供背景区域的像素级语义标注，以支持密集目标检测研究。
• 提出一种数据增强方法 BAG-CP，仅将目标选择性地粘贴至天空区域，避免训练过程中引入误报。

提出的方法

• 提出 BAFE-Net，一种多任务架构，通过共享主干网络和任务专用头，联合执行红外小目标检测与背景语义分割。
• 实现一种跨任务特征硬交换机制，通过双向、基于硬注意力的特征传输，在检测头与分割头之间增强特征判别能力。
• 设计一种背景感知高斯复制粘贴（BAG-CP）增强方法，利用高斯混合技术选择性地将小目标粘贴至天空区域，避免在复杂背景中引入假阳性。
• 经消融实验验证，ResNet50 为最优主干网络，在特征丰富度与计算效率之间取得最佳平衡，而更深的网络如 ResNet101 因特征过度平滑导致性能下降。
• 采用端到端训练方式，结合检测与分割目标的多任务损失函数，在 DenseSIRST 基准上优化 mAP 与召回率。
• 通过鼓励分割头抑制非目标、高激活的背景区域，将背景语义信息融入特征学习过程，从而减少误报。

实验结果

研究问题

• RQ1 显式建模背景语义是否能提升密集红外小目标检测中的性能？
• RQ2 检测头与分割头之间的跨任务特征交换在提升小目标特征判别能力方面有何作用？
• RQ3 与标准复制粘贴方法相比，利用天空标注区域进行选择性数据增强在减少假阳性方面的效果如何？
• RQ4 所提出的多任务框架是否在真实世界密集红外基准上优于单任务的 SOTA 方法？
• RQ5 具有像素级背景标注的新数据集是否能实现更准确、更鲁棒的密集红外小目标检测算法评估？

主要发现

• BAFE-Net 在 DenseSIRST 基准上实现了最高的 mAP_{07} 与 mAP_{12}，优于所有现有的单阶段与两阶段 SOTA 方法。
• 可视化分析表明，BAFE-Net 在目标区域产生更强激活，且背景激活图更为干净，表明其对假阳性具有更强抑制能力。
• BAG-CP 通过仅将目标粘贴至天空区域，有效减少误报，其性能优于标准复制粘贴方法，因干扰物在天空区域更难被误分类。
• ResNet50 被确定为最优主干网络，在特征丰富度与计算成本之间实现最佳平衡；更深的网络如 ResNet101 因特征过度平滑导致性能下降。
• 采用跨任务特征硬交换的多任务设计显著提升了特征判别能力，表现为更高的检测灵敏度与更低的背景激活水平。
• 所提出的 DenseSIRST 数据集推动检测任务从稀疏目标向密集目标转变，通过提供背景区域的像素级语义标注，为未来研究提供真实可靠的基准。