[論文レビュー] MSFNet-CPD: Multi-Scale Cross-Modal Fusion Network for Crop Pest Detection

Jiaqi Zhang, Zhuodong Liu+1 more|ArXiv.org|May 5, 2025

Smart Agriculture and AI被引用数 3

ひとこと要約

MSFNet-CPDは画像とテキスト特徴を組み合わせた多尺度クロスモーダルフュージョネットワークを導入し、超解像とデータ拡張を備え、IP102由来の多モーダルデータセットで害虫検出性能を向上させます。

ABSTRACT

Accurate identification of agricultural pests is essential for crop protection but remains challenging due to the large intra-class variance and fine-grained differences among pest species. While deep learning has advanced pest detection, most existing approaches rely solely on low-level visual features and lack effective multi-modal integration, leading to limited accuracy and poor interpretability. Moreover, the scarcity of high-quality multi-modal agricultural datasets further restricts progress in this field. To address these issues, we construct two novel multi-modal benchmarks-CTIP102 and STIP102-based on the widely-used IP102 dataset, and introduce a Multi-scale Cross-Modal Fusion Network (MSFNet-CPD) for robust pest detection. Our approach enhances visual quality via a super-resolution reconstruction module, and feeds both the original and reconstructed images into the network to improve clarity and detection performance. To better exploit semantic cues, we propose an Image-Text Fusion (ITF) module for joint modeling of visual and textual features, and an Image-Text Converter (ITC) that reconstructs fine-grained details across multiple scales to handle challenging backgrounds. Furthermore, we introduce an Arbitrary Combination Image Enhancement (ACIE) strategy to generate a more complex and diverse pest detection dataset, MTIP102, improving the model's generalization to real-world scenarios. Extensive experiments demonstrate that MSFNet-CPD consistently outperforms state-of-the-art methods on multiple pest detection benchmarks. All code and datasets will be made publicly available at: https://github.com/Healer-ML/MSFNet-CPD.

研究の動機と目的

• 高いクラス内分散と複雑な背景の中で堅牢な作物害虫検出を動機づける。
• 視覚的およびテキストによる害虫説明を統合して多モーダルの手掛かりを活用する。
• 高周波の害虫特徴を保持するために超解像によって画像品質を向上させる。
• IP102から CTIP102 および STIP102、ACIE拡張を用いた MTIP102 を作成・評価する。
• 複数データセットにわたり単一モーダルのベースラインより検出精度を改善する。

提案手法

• 高品質画像を生成するためのLS RGANによる超解像。ただし元画像を補足的特徴として保持。
• TIC（ Text-Image Converter）で多尺度の視覚特徴を抽出し、テキストと整合させてITF入力とする。
• ITF（ Image-Text Fusion）トランスフォーマーモジュールで多尺度の視覚特徴とテキスト特徴を融合。
• ITC（ Image-Text Converter）で多尺度特徴を画像に近い表現へ再構築し下流PTIへ。
• PTI（ Pest Target Identification）ネックとヘッドは YOLOv4風のアーキテクチャに基づき、複数スケールで害虫の境界ボックスを予測。
• ACIE（ Arbitrary Combination Image Enhancement）データ拡張で MTIP102 を複数の害虫とさまざまなスケールで作成。

Figure 1 : MSFNet-CPD Model Architecture (A. LSRGAN for super-resolution of low-quality images, B. Picture to ITF Transformer (TIC), C. Multi-scale Cross-modal Fusion ITF Module, D. ITF to Neck Network Converter (ITC), and E. Pest Target Identification (PTI). Numbers represent categories in Original

実験結果

リサーチクエスチョン

• RQ1 画像とテキスト説明を組み合わせた多モーダル学習は IP102由来データセットで単一モダリティ法より検出精度を向上させるか？
• RQ2 超解像によって高周波を保持し、クロススケール融合が雑然とした農業環境で検出をより支援するか？
• RQ3 テキスト説明の複雑さは多モーダル害虫同定の検出性能にどのような影響を与えるか？
• RQ4 データ拡張（ACIE）の現実的な多標的害虫画像生成がモデルの一般化に与える影響は？

主な発見

• MSFNet-CPDは画像とテキストの両方を入力として使用した場合、mAPが46.06%、mAP50が92.18%を達成。
• テキストを除去するとmAPが10.42%低下し、LSRGANを除去するとmAPが11.24%低下する。これはテキストと超解像の重要性を示す。
• CTIP102とSTIP102は単一モーダルのIP102ベースラインより検出性能で上回る。
• 複雑なテキスト説明は、単純な説明より高いPrecision、mAP、mAP50をもたらす（Precisionで9.72%増、mAPで1.08%、mAP50で3.96%の改善）。
• YOLOv9ベースラインのmAPは42.32%、mAP50は81.10%、mAP75は39.86%であり、MSFNet-CPDはマルチモーダルデータセットでこれらの指標を上回る。

Figure 2 : ITF Specific Process. ( $B_{i}$ , $C_{i}$ , $V_{i}$ stand for different scale image features and $T$ stands for text features).