[论文解读] ICAFusion: Iterative Cross-Attention Guided Feature Fusion for Multispectral Object Detection

Jifeng Shen, Yifei Chen+4 more|arXiv (Cornell University)|Aug 15, 2023

Remote-Sensing Image Classification被引用 6

一句话总结

ICA Fusion 提出了一种双注意力变换器框架，结合迭代特征融合机制，通过建模 RGB 图像与热成像之间的全局互补特征交互，提升多光谱目标检测性能。通过在堆叠的变换器块之间采用迭代机制共享参数，该方法在 KAIST、FLIR 和 VEDAI 数据集上实现了最先进的 mAP 性能，同时推理速度优于先前方法，显著降低了计算成本。

ABSTRACT

Effective feature fusion of multispectral images plays a crucial role in multi-spectral object detection. Previous studies have demonstrated the effectiveness of feature fusion using convolutional neural networks, but these methods are sensitive to image misalignment due to the inherent deffciency in local-range feature interaction resulting in the performance degradation. To address this issue, a novel feature fusion framework of dual cross-attention transformers is proposed to model global feature interaction and capture complementary information across modalities simultaneously. This framework enhances the discriminability of object features through the query-guided cross-attention mechanism, leading to improved performance. However, stacking multiple transformer blocks for feature enhancement incurs a large number of parameters and high spatial complexity. To handle this, inspired by the human process of reviewing knowledge, an iterative interaction mechanism is proposed to share parameters among block-wise multimodal transformers, reducing model complexity and computation cost. The proposed method is general and effective to be integrated into different detection frameworks and used with different backbones. Experimental results on KAIST, FLIR, and VEDAI datasets show that the proposed method achieves superior performance and faster inference, making it suitable for various practical scenarios. Code will be available at https://github.com/chanchanchan97/ICAFusion.

研究动机与目标

• 解决卷积神经网络在建模长距离依赖关系以及处理多光谱目标检测中图像错位问题时的局限性。
• 通过利用全局跨模态注意力机制，提升互补的 RGB 与热成像特征的判别性表征，从而改进特征融合。
• 通过引入参数共享的迭代学习策略，降低基于变换器的融合模型复杂度与计算成本。
• 开发一种可泛化的、与主干网络无关的框架，兼容多种检测架构。
• 在不同环境条件下，实现在多光谱数据集上的卓越检测精度与更快的推理速度。

提出的方法

• 设计了一种双交叉注意力变换器模块，用于从一模态生成查询，从另一模态生成键与值，实现双向、查询引导的特征增强。
• 交叉注意力机制能够捕捉跨模态之间的长距离空间与通道依赖关系，提升特征的判别能力。
• 采用迭代交互机制，在多个变换器块之间共享权重，从而在不降低性能的前提下减少参数量与空间复杂度。
• 将该框架作为即插即用的融合模块集成到现有目标检测模型中，兼容不同的主干网络与检测头。
• 采用端到端训练方式，使用来自双模态的特征图作为交叉注意力融合模块的输入，损失函数为标准检测损失。
• 迭代优化过程在保持计算效率的同时，实现更深层次的特征抽象，得益于参数共享机制。

实验结果

研究问题

• RQ1 如何有效建模全局跨模态特征交互，以超越局部卷积操作，从而提升多光谱目标检测性能？
• RQ2 参数高效的迭代式变换器架构是否能够降低计算成本，同时在多模态融合中保持或提升性能？
• RQ3 查询引导的交叉注意力机制如何通过利用 RGB 与热成像模态之间的互补信息，增强特征表征？
• RQ4 在多种数据集上，该方法在检测精度与推理速度方面相较于现有融合策略的优越程度如何？
• RQ5 该方法的失败模式是什么？其与真实场景中视觉相似性与图像质量的关系如何？

主要发现

• 在 KAIST 数据集上，ICA Fusion 实现了 78.6% 的 mAP 和 72.1% 的 mAP75，相比之前最先进方法在 mAP 上提升了 1.9%。
• 在 FLIR 数据集上，该方法实现了 79.2% 的 mAP，较之前最佳方法（CFT）在 mAP 上提升 1.0%，在 mAP50 上提升 1.1%。
• 在 VEDAI 数据集上，ICA Fusion 实现了 76.62% 的 mAP，尽管未使用小目标检测技巧，仍较基线模型提升了 1.96% 的 mAP。
• 由于采用了迭代参数共享机制，该方法在参数量与推理时间上均低于标准堆叠式变换器融合方法。
• 定性注意力图显示，ICA Fusion 能够有效聚焦于相关目标区域，相比基线方法显著减少了误检。
• 失败案例揭示了在区分形状或纹理相似物体时存在挑战（例如，交通标志被误检为行人，屋顶设备被误检为汽车），主要归因于视觉相似性与图像质量较低。