[论文解读] MSFNet-CPD: Multi-Scale Cross-Modal Fusion Network for Crop Pest Detection

Jiaqi Zhang, Zhuodong Liu+1 more|ArXiv.org|May 5, 2025

Smart Agriculture and AI被引用 3

一句话总结

MSFNet-CPD 引入一种多尺度跨模态融合网络，将图像与文本特征结合，配合超分辨率与数据增强，在基于 IP102 的多模态数据集上实现更优的虫害检测。

ABSTRACT

Accurate identification of agricultural pests is essential for crop protection but remains challenging due to the large intra-class variance and fine-grained differences among pest species. While deep learning has advanced pest detection, most existing approaches rely solely on low-level visual features and lack effective multi-modal integration, leading to limited accuracy and poor interpretability. Moreover, the scarcity of high-quality multi-modal agricultural datasets further restricts progress in this field. To address these issues, we construct two novel multi-modal benchmarks-CTIP102 and STIP102-based on the widely-used IP102 dataset, and introduce a Multi-scale Cross-Modal Fusion Network (MSFNet-CPD) for robust pest detection. Our approach enhances visual quality via a super-resolution reconstruction module, and feeds both the original and reconstructed images into the network to improve clarity and detection performance. To better exploit semantic cues, we propose an Image-Text Fusion (ITF) module for joint modeling of visual and textual features, and an Image-Text Converter (ITC) that reconstructs fine-grained details across multiple scales to handle challenging backgrounds. Furthermore, we introduce an Arbitrary Combination Image Enhancement (ACIE) strategy to generate a more complex and diverse pest detection dataset, MTIP102, improving the model's generalization to real-world scenarios. Extensive experiments demonstrate that MSFNet-CPD consistently outperforms state-of-the-art methods on multiple pest detection benchmarks. All code and datasets will be made publicly available at: https://github.com/Healer-ML/MSFNet-CPD.

研究动机与目标

• 在高度同类内部方差与复杂背景下，推动稳健的作物虫害检测。
• 通过融合视觉与文本虫害描述，利用多模态线索。
• 通过超分辨率提升图像质量，以保留高频虫害特征。
• 基于 IP102 派生数据集创建并评估多模态基准 CTIP102 与 STIP102，以及结合 ACIE 增强的 MTIP102。
• 在多数据集上展示相对单模态基线的检测精度提升。

提出的方法

• 用于超分辨率的 LS RGAN 以生成高质量图像，同时将原始图像作为辅助特征。
• TIC（文本-图像转换器）提取多尺度视觉特征并使其与文本对齐以作为 ITF 输入。
• ITF（图像-文本融合）基于 Transformer 的模块将多尺度视觉特征与文本特征融合。
• ITC（图像-文本转换器）将多尺度特征重构回接近图像的表示以用于下游 PTI。
• PTI（虫害目标识别）颈部与头部采用 YOLOv4 风格的架构，跨尺度预测虫害边界框。
• ACIE（任意组合图像增强）数据增强，用于生成包含多种虫害和不同尺度的 MTIP102。

Figure 1 : MSFNet-CPD Model Architecture (A. LSRGAN for super-resolution of low-quality images, B. Picture to ITF Transformer (TIC), C. Multi-scale Cross-modal Fusion ITF Module, D. ITF to Neck Network Converter (ITC), and E. Pest Target Identification (PTI). Numbers represent categories in Original

实验结果

研究问题

• RQ1 多模态图像与文本描述的学习是否能在基于 IP102 派生的数据集上提升虫害检测的准确性，相较于单模态方法？
• RQ2 通过超分辨率保留的高频信息与跨尺度融合，是否能更好地在杂乱的农作环境中支持检测？
• RQ3 文本描述的复杂性如何影响多模态虫害识别的检测性能？
• RQ4 数据增强（ACIE）在生成现实的多目标虫害图像以提升模型泛化方面有何影响？

主要发现

• 在同时使用图像与文本输入时，MSFNet-CPD 的 mAP 为 46.06%，mAP50 为 92.18%。
• 去除文本会使 mAP 降低 10.42%，去除 LSRGAN 会使 mAP 降低 11.24%，显示文本与超分的重要性。
• CTIP102 与 STIP102 在检测性能上优于单模态的 IP102 基线。
• 复杂文本描述比简单描述带来更高的精确度、mAP 与 mAP50（Precision 提升 9.72%，mAP 提升 1.08%，mAP50 提升 3.96%）。
• YOLOv9 基线 mAP 为 42.32%，mAP50 为 81.10%，mAP75 为 39.86%，而 MSFNet-CPD 在多模态数据集上超越这些指标。

Figure 2 : ITF Specific Process. ( $B_{i}$ , $C_{i}$ , $V_{i}$ stand for different scale image features and $T$ stands for text features).