[论文解读] Cross-Modality Fusion Transformer for Multispectral Object Detection

Qingyun Fang, Han Da-peng+1 more|arXiv (Cornell University)|Oct 30, 2021

Remote-Sensing Image Classification被引用 14

一句话总结

该论文提出了一种新型双流主干网络——跨模态融合Transformer（CFT），利用Transformer的自注意力机制，联合学习RGB与热成像模态的内部及跨模态特征表示，用于多光谱目标检测。通过整合全局上下文信息和长距离依赖关系，CFT在FLIR、LLVIP和VEDAI数据集上均取得了最先进性能，mAP50得分分别为78.5、97.5和85.3。

ABSTRACT

Multispectral image pairs can provide the combined information, making object detection applications more reliable and robust in the open world. To fully exploit the different modalities, we present a simple yet effective cross-modality feature fusion approach, named Cross-Modality Fusion Transformer (CFT) in this paper. Unlike prior CNNs-based works, guided by the transformer scheme, our network learns long-range dependencies and integrates global contextual information in the feature extraction stage. More importantly, by leveraging the self attention of the transformer, the network can naturally carry out simultaneous intra-modality and inter-modality fusion, and robustly capture the latent interactions between RGB and Thermal domains, thereby significantly improving the performance of multispectral object detection. Extensive experiments and ablation studies on multiple datasets demonstrate that our approach is effective and achieves state-of-the-art detection performance. Our code and models are available at https://github.com/DocF/multispectral-object-detection.

研究动机与目标

• 为解决在多光谱目标检测中有效融合RGB与热成像模态互补特征的挑战。
• 克服基于CNN的融合方法在捕捉长距离依赖关系和全局上下文方面的局限性。
• 探索Transformer在跨模态特征融合用于目标检测中的潜力。
• 设计一种简单但高效的融合模块，实现内部模态与跨模态特征的同步整合。

提出的方法

• 将CFT模块嵌入双流网络的主干网络中，以实现在RGB与热成像分支之间的联合特征学习。
• Transformer中的自注意力机制可实现全局感受野，使模型能够捕捉特征图之间的长距离依赖关系。
• CFT模块通过计算来自两个模态的查询（query）、键（key）和值（value）特征之间的交叉注意力实现特征融合。
• 通过共享的注意力机制整合内部模态与跨模态表示，从而增强特征表征能力。
• CFT以密集方式应用于主干网络的多个阶段，逐步优化特征表示。
• 该方法兼容单阶段（如YOLOv5）和两阶段（如Faster R-CNN）检测器，展现出广泛的适用性。

实验结果

研究问题

• RQ1 Transformer的自注意力机制是否能有效捕捉多光谱特征图中的长距离依赖关系以用于目标检测？
• RQ2 如何在统一框架中同时实现内部模态与跨模态特征融合？
• RQ3 通过Transformer引入全局上下文信息是否能提升多光谱场景下的检测精度？
• RQ4 基于Transformer的融合模块是否能在多光谱目标检测中超越现有的基于CNN的融合方法？

主要发现

• CFT模块在FLIR数据集上实现了78.5的最先进mAP50，较之前最佳方法高出6.3个百分点。
• 在LLVIP数据集上，CFT模型实现了97.5的mAP50和63.6的mAP，分别较基线模型提升9.3%和10.0%。
• 在VEDAI航拍多光谱数据集上，CFT模型实现了85.3的mAP50和56.0的mAP，较最佳单模态网络在mAP50上提升9.3%。
• 消融实验表明，CFT模块联合建模内部与跨模态特征的能力是性能提升的关键因素。
• 该方法在不同检测器架构（包括YOLOv5、YOLOv3和Faster R-CNN）上均表现有效，展现出强大的泛化能力。
• 可视化结果表明，CFT增强了特征的判别性与空间一致性，尤其在低光照或遮挡等挑战性条件下表现更优。