[论文解读] Asymmetric Contextual Modulation for Infrared Small Target Detection

Yimian Dai, Yiquan Wu+2 more|arXiv (Cornell University)|Sep 30, 2020

Infrared Target Detection Methodologies参考文献 39被引用 28

一句话总结

本文提出了一种非对称上下文调制（ACM）模块，用于红外小目标检测，通过双注意力路径将自顶向下的全局上下文与自底向上的局部细节相结合。该方法在新提出的SIRST数据集上实现了最先进性能，mIoU为0.743，nIoU为0.731，优于现有方法，同时参数量和网络层数更少。

ABSTRACT

Single-frame infrared small target detection remains a challenge not only due to the scarcity of intrinsic target characteristics but also because of lacking a public dataset. In this paper, we first contribute an open dataset with high-quality annotations to advance the research in this field. We also propose an asymmetric contextual modulation module specially designed for detecting infrared small targets. To better highlight small targets, besides a top-down global contextual feedback, we supplement a bottom-up modulation pathway based on point-wise channel attention for exchanging high-level semantics and subtle low-level details. We report ablation studies and comparisons to state-of-the-art methods, where we find that our approach performs significantly better. Our dataset and code are available online.

研究动机与目标

• 解决在复杂背景中信号与杂波比低的微弱、小尺寸红外目标检测的挑战。
• 克服依赖手工设计特征、在不同场景条件下表现不佳的模型驱动方法的局限性。
• 提供一个公开的高质量数据集（SIRST），以支持单帧红外小目标检测的数据驱动研究。
• 设计一种深度学习架构，平衡高层语义与细粒度低层细节，以实现小目标检测。
• 解决卷积神经网络中语义抽象与空间分辨率损失之间的固有矛盾，尤其针对小目标。

提出的方法

• 提出一种非对称上下文调制（ACM）模块，包含两条并行路径：使用全局通道注意力的自顶向下全局上下文流，以及使用逐点通道注意力的自底向上局部细节流。
• 将ACM模块集成到FPN和U-Net主干网络中，实现在特征图之间的双向特征调制。
• 在自顶向下路径中使用全局通道注意力，将整体场景语义注入高层特征。
• 在自底向上路径中使用逐点通道注意力，以保留并增强小目标的细粒度局部特征。
• 设计一种新型损失函数和评估指标（nIoU），以更准确评估小目标检测性能。
• 重新发布SIRST数据集，包含5种标注形式，且规模为先前私有数据集的4倍，以支持训练与基准测试。

实验结果

研究问题

• RQ1 双路径注意力机制是否能通过整合高层语义与低层细节，提升小目标检测性能？
• RQ2 自底向上的注意力路径是否能缓解深层网络中背景对小目标特征的淹没风险？
• RQ3 与对称或单向注意力相比，非对称调制在检测精度和鲁棒性方面表现如何？
• RQ4 新构建的公开数据集（SIRST）是否能显著推动数据驱动的红外小目标检测研究？
• RQ5 所提方法在检测微弱、低对比度小目标方面，是否优于现有的模型驱动与数据驱动方法？

主要发现

• ACM-FPN与ACM-U-Net模型在19种对比方法中取得了最高的mIoU（0.743）与nIoU（0.731），证明了其最先进性能。
• 即使网络层数更少，所提方法仍优于所有基线模型，表明其具有更高的参数效率。
• 自底向上的注意力路径显著提升了性能，尤其在深层网络中，证明其在防止特征抑制方面具有必要性。
• nIoU指标被证明比IoU更适合评估小目标检测，因其能更准确捕捉小目标、低对比度目标的性能表现。
• ROC分析表明，ACM模型在不同阈值下均保持优越的整体检测能力，甚至在某些情况下优于IoU更高的方法。
• SIRST数据集使数据驱动模型的训练与评估更加有效，所提方法在此基准上取得了最佳结果。