[论文解读] InsectMamba: Insect Pest Classification with State Space Model

Qianning Wang, Chenglin Wang+2 more|arXiv (Cornell University)|Apr 4, 2024

Species Distribution and Climate Change被引用 8

一句话总结

InsectMamba 将状态空间模型、卷积神经网络（CNN）、MSA 与 MLP 融合在 Mix-SSM 块中，并加入一个选择性模块，以在五个数据集上提升害虫分类性能，优于强基线。

ABSTRACT

The classification of insect pests is a critical task in agricultural technology, vital for ensuring food security and environmental sustainability. However, the complexity of pest identification, due to factors like high camouflage and species diversity, poses significant obstacles. Existing methods struggle with the fine-grained feature extraction needed to distinguish between closely related pest species. Although recent advancements have utilized modified network structures and combined deep learning approaches to improve accuracy, challenges persist due to the similarity between pests and their surroundings. To address this problem, we introduce InsectMamba, a novel approach that integrates State Space Models (SSMs), Convolutional Neural Networks (CNNs), Multi-Head Self-Attention mechanism (MSA), and Multilayer Perceptrons (MLPs) within Mix-SSM blocks. This integration facilitates the extraction of comprehensive visual features by leveraging the strengths of each encoding strategy. A selective module is also proposed to adaptively aggregate these features, enhancing the model's ability to discern pest characteristics. InsectMamba was evaluated against strong competitors across five insect pest classification datasets. The results demonstrate its superior performance and verify the significance of each model component by an ablation study.

研究动机与目标

• 应对害虫分类中的伪装和高物种多样性。
• 利用互补的视觉编码策略提取局部与全局特征。
• 引入 Mix-SSM 块，将 SSM、CNN、MSA 和 MLP 融合以进行特征提取。
• 开发一个自适应的选择性模块，用于融合来自不同编码策略的特征。
• 在五个害虫数据集上展示优于强基线的性能。

提出的方法

• 提出将 SSM、CNN、MLP 和 MSA 集成以进行特征提取的 Mix-SSM 块。
• 引入一个自适应加权并聚合来自多种编码的特征的选择性模块。
• 将图像表示为补丁（patch），应用 PatchEmbed，并通过带 PatchMerging 的堆叠 Mix-SSM 块进行处理。
• 在选择性模块中通过全局池化和一个 MLP 计算通道注意力和空间注意力，为每种编码策略产生逐通道权重。
• 在五个害虫数据集上进行训练和评估，并与 ResNet、DeiT、Swin、Vmamba 及基线进行比较。
• 进行消融研究以验证 CNN、MLP 和 MSA 组件的贡献。

实验结果

研究问题

• RQ1 Mix-SSM 块是否能有效整合 SSM、CNN、MSA 和 MLP 特征用于害虫分类？
• RQ2 选择性模块是否提升了跨多样数据集的多编码特征的自适应融合？
• RQ3 单独组件（CNN、MLP、MSA）对整体性能和消融结果的影响是什么？

主要发现

• InsectMamba 在五个害虫数据集上实现了最先进的性能，在 ACC、精确度、召回率和 F1 等指标上超越强基线。
• 在 Farm Insects 数据集上，InsectMamba 达到 ACC 0.66 和 F1 0.65，相较下一个最佳模型 Swin-B，在 ACC 上约高出 4 个百分点。
• 在 Agricultural Pests 数据集上，InsectMamba 达到 ACC 0.91 和 F1 0.91，在 ACC 方面比 Vmamba-B 高出约 2 个百分点。
• 在 Insect Recognition 数据集上，InsectMamba 达到 ACC 0.86 和 F1 0.86，优于强基线。
• 在 Forestry Pest Identification 数据集上，InsectMamba 达到 ACC 0.94 和 F1 0.94，是所列方法中最好。
• 在 IP102 数据集上，InsectMamba 达到 ACC 0.43 和 F1 0.37，较之前最佳（Swin-B）提高了 ACC 0.39。