[论文解读] CourtNet for Infrared Small-Target Detection

Jingchao Peng, Haitao Zhao+3 more|arXiv (Cornell University)|Sep 28, 2022

Infrared Target Detection Methodologies被引用 4

一句话总结

CourtNet 是一种受法律法庭程序启发的新型红外小目标检测方法，包含负责高召回率的检控网络、负责高精确率的辩护网络，以及自适应融合两者输出的陪审团网络。该方法采用密集连接的Transformer结构并结合细粒度注意力机制，以保留小目标特征，并引入自适应平衡损失以优化精确率-召回率之间的权衡，最终在MFIRST数据集上取得0.62的SOTA F1分数，在SIRST数据集上取得0.73的SOTA F1分数。

ABSTRACT

Infrared small-target detection (ISTD) is an important computer vision task. ISTD aims at separating small targets from complex background clutter. The infrared radiation decays over distances, making the targets highly dim and prone to confusion with the background clutter, which makes the detector challenging to balance the precision and recall rate. To deal with this difficulty, this paper proposes a neural-network-based ISTD method called CourtNet, which has three sub-networks: the prosecution network is designed for improving the recall rate; the defendant network is devoted to increasing the precision rate; the jury network weights their results to adaptively balance the precision and recall rate. Furthermore, the prosecution network utilizes a densely connected transformer structure, which can prevent small targets from disappearing in the network forward propagation. In addition, a fine-grained attention module is adopted to accurately locate the small targets. Experimental results show that CourtNet achieves the best F1-score on the two ISTD datasets, MFIRST (0.62) and SIRST (0.73).

研究动机与目标

• 为解决红外小目标检测（ISTD）中高精确率与高召回率难以平衡的问题，即小目标易被背景杂波掩盖或混淆。
• 克服标准视觉Transformer在定位子图像块目标时因粗粒度注意力机制和深层网络特征退化导致的局限性。
• 设计一种能够自适应平衡精确率与召回率、无需人工调整阈值的检测框架。
• 通过密集残差连接与细粒度注意力机制，在深层网络前向传播过程中有效保留小目标特征。

提出的方法

• CourtNet采用三分支架构：检控网络通过检测所有可疑目标以最大化召回率，辩护网络通过过滤误报以提升精确率，陪审团网络则对两者的输出进行加权融合。
• 检控网络采用密集连接的Transformer结构，以保持低层与高层特征，防止小目标在前向传播过程中消失。
• 在每个图像块内部引入细粒度注意力模块，以精确锁定块内小目标位置，弥补标准视觉Transformer的粗粒度注意力机制的不足。
• 提出一种自适应平衡损失，根据精确率与召回率损失分量的相对大小动态调整其权重，从而减少训练波动并加快收敛速度。
• 模型在MFIRST与SIRST两个基准数据集上进行端到端训练，并以F1分数作为主要评估指标。

实验结果

研究问题

• RQ1 是否可通过类法庭的神经网络架构，赋予不同分支专门负责召回与精确率的角色，从而更有效地平衡红外小目标检测中的召回率与精确率？
• RQ2 是否可通过结合密集连接Transformer与细粒度注意力机制，有效保留并精确定位红外图像中的子图像块小目标？
• RQ3 与标准损失函数相比，自适应平衡损失是否能带来更稳定且更快的模型收敛？
• RQ4 所提方法是否能在标准红外小目标检测基准上，以更高的F1分数超越现有SOTA方法？

主要发现

• CourtNet在MFIRST数据集上取得最高F1分数0.62，优于现有方法。
• 在SIRST数据集上，CourtNet实现F1分数0.73，创下新的SOTA性能记录。
• 细粒度注意力模块展现出周期为9的循环特征模式，证实其能一致且稳定地定位图像块内的目标。
• 自适应平衡损失显著降低训练波动，提升收敛速度，训练曲线更加稳定。
• 在构建的测试集中，检控网络实现100%的目标检测率，F1分数达80%。