[논문 리뷰] MSFNet-CPD: Multi-Scale Cross-Modal Fusion Network for Crop Pest Detection

Jiaqi Zhang, Zhuodong Liu외 1명|ArXiv.org|2025. 05. 05.

Smart Agriculture and AI인용 수 3

한 줄 요약

MSFNet-CPD는 이미지와 텍스트 특징을 결합한 다중 스케일 교차 모달 융합 네트워크를 도입하며, 초해상도 및 데이터 증강과 결합되어 IP102 유래 다중 모달 데이터셋에서 해충 탐지 성능이 우수하다.

ABSTRACT

Accurate identification of agricultural pests is essential for crop protection but remains challenging due to the large intra-class variance and fine-grained differences among pest species. While deep learning has advanced pest detection, most existing approaches rely solely on low-level visual features and lack effective multi-modal integration, leading to limited accuracy and poor interpretability. Moreover, the scarcity of high-quality multi-modal agricultural datasets further restricts progress in this field. To address these issues, we construct two novel multi-modal benchmarks-CTIP102 and STIP102-based on the widely-used IP102 dataset, and introduce a Multi-scale Cross-Modal Fusion Network (MSFNet-CPD) for robust pest detection. Our approach enhances visual quality via a super-resolution reconstruction module, and feeds both the original and reconstructed images into the network to improve clarity and detection performance. To better exploit semantic cues, we propose an Image-Text Fusion (ITF) module for joint modeling of visual and textual features, and an Image-Text Converter (ITC) that reconstructs fine-grained details across multiple scales to handle challenging backgrounds. Furthermore, we introduce an Arbitrary Combination Image Enhancement (ACIE) strategy to generate a more complex and diverse pest detection dataset, MTIP102, improving the model's generalization to real-world scenarios. Extensive experiments demonstrate that MSFNet-CPD consistently outperforms state-of-the-art methods on multiple pest detection benchmarks. All code and datasets will be made publicly available at: https://github.com/Healer-ML/MSFNet-CPD.

연구 동기 및 목표

• 높은 클래스 내 분산과 복잡한 배경 속에서도 견고한 작물 해충 탐지를 촉진한다.
• 시각적 해충 설명과 텍스트 설명을 융합하여 다중 모달 신호를 활용한다.
• 해충의 고주파 특징을 보존하기 위해 초해상도 방식으로 이미지 품질을 향상시킨다.
• IP102로부터 CTIP102와 STIP102라는 다중 모달 벤치마크를 만들고 평가하며, ACIE 증강을 사용한 MTIP102를 추가로 만든다.
• 여러 데이터셋에서 단일 모달 기준선보다 향상된 탐지 정확도를 보여준다.

제안 방법

• LS RGAN for super-resolution to generate high-quality images while keeping original images as supplementary features.
• TIC (Text-Image Converter)를 사용하여 다중 스케일 시각 특징을 추출하고 이를 텍스트와 정렬하여 ITF 입력으로 사용한다.
• ITF (Image-Text Fusion) 트랜스포머 기반 모듈로 다중 스케일 시각 특징과 텍스트 특징을 융합한다.
• ITC (Image-Text Converter)를 사용하여 다중 스케일 특징을 다시 이미지와 유사한 표현으로 재구성하여 다운스트림 PTI에 활용한다.
• PTI(Pest Target Identification) 넥 및 헤드는 YOLOv4 스타일 아키텍처를 기반으로 하여 다중 스케일에서 해충 바운딩 박스를 예측한다.
• ACIE (Arbitrary Combination Image Enhancement) 데이터 증강으로 여러 해충과 다양한 스케일을 가진 MTIP102를 생성한다.

Figure 1 : MSFNet-CPD Model Architecture (A. LSRGAN for super-resolution of low-quality images, B. Picture to ITF Transformer (TIC), C. Multi-scale Cross-modal Fusion ITF Module, D. ITF to Neck Network Converter (ITC), and E. Pest Target Identification (PTI). Numbers represent categories in Original

실험 결과

연구 질문

• RQ1 IP102 유래 데이터셋에서 이미지와 텍스트 설명을 이용한 다중 모달 학습이 단일 모달 방법보다 해충 탐지 정확도를 향상시킬 수 있는가?
• RQ2 초해상도로 보존된 고주파 정보와 교차 스케일 융합이 서로 얽힌 농업 환경에서 탐지를 더 잘 지원하는가?
• RQ3 다중 모달 해충 식별에서 텍스트 설명의 복잡성이 탐지 성능에 어떤 영향을 미치는가?
• RQ4 현실적인 다중 대상 해충 이미지를 생성하는 데이터 증강(ACIE)이 모델 일반화에 미치는 영향은 무엇인가?

주요 결과

• 이미지와 텍스트 입력을 모두 사용할 때 MSFNet-CPD는 mAP 46.06% 및 mAP50 92.18%를 달성한다.
• 텍스트를 제거하면 mAP가 10.42% 감소하고 LSRGAN을 제거하면 mAP가 11.24% 감소하여 텍스트와 초해상도의 중요성을 보여준다.
• CTIP102와 STIP102가 단일 모달 IP102 기준선보다 탐지 성능에서 우수하다.
• 복잡한 텍스트 설명은 간단한 설명보다 정밀도, mAP 및 mAP50이 더 높게 나타나며(정밀도 9.72% 향상, mAP 1.08% 향상, mAP50 3.96% 향상).
• 기준선 YOLOv9의 mAP는 42.32%이고 mAP50은 81.10%, mAP75는 39.86%인 반면 MSFNet-CPD는 다중 모달 데이터셋에서 이러한 지표를 능가한다.

Figure 2 : ITF Specific Process. ( $B_{i}$ , $C_{i}$ , $V_{i}$ stand for different scale image features and $T$ stands for text features).