[论文解读] Agri-LLaVA: Knowledge-Infused Large Multimodal Assistant on Agricultural Pests and Diseases

Liqiong Wang, Tingxiang Jin+4 more|arXiv (Cornell University)|Dec 3, 2024

Smart Agriculture and AIAgricultural and Biological Sciences被引用 3

一句话总结

Agri-LLaVA 是一种基于知识增强的大规模多模态模型，经过微调用于农业病虫害识别，利用一个新颖的 391,785 个样本指令跟随数据集和两阶段训练流程（结合视觉特征对齐与多模态指令微调）。该模型在新的农业视觉问答（VQA）基准上实现了最先进性能，在综合推理任务中相比通用领域多模态大模型最高提升 4.87%。

ABSTRACT

In the general domain, large multimodal models (LMMs) have achieved significant advancements, yet challenges persist in applying them to specific fields, especially agriculture. As the backbone of the global economy, agriculture confronts numerous challenges, with pests and diseases being particularly concerning due to their complexity, variability, rapid spread, and high resistance. This paper specifically addresses these issues. We construct the first multimodal instruction-following dataset in the agricultural domain, covering over 221 types of pests and diseases with approximately 400,000 data entries. This dataset aims to explore and address the unique challenges in pest and disease control. Based on this dataset, we propose a knowledge-infused training method to develop Agri-LLaVA, an agricultural multimodal conversation system. To accelerate progress in this field and inspire more researchers to engage, we design a diverse and challenging evaluation benchmark for agricultural pests and diseases. Experimental results demonstrate that Agri-LLaVA excels in agricultural multimodal conversation and visual understanding, providing new insights and approaches to address agricultural pests and diseases. By open-sourcing our dataset and model, we aim to promote research and development in LMMs within the agricultural domain and make significant contributions to tackle the challenges of agricultural pests and diseases. All resources can be found at https://github.com/Kki2Eve/Agri-LLaVA.

研究动机与目标

• 解决农业病虫害识别领域中缺乏特定领域多模态数据集和微调模型的问题。
• 克服农业多模态大模型面临的挑战，包括数据稀缺、数据质量差以及对专业领域知识的需求。
• 开发一个能够实现准确视觉理解并就病虫害进行上下文对话的多模态助手。
• 建立一个全面的农业视觉问答（VQA）与多模态指令遵循的评估基准。
• 通过发布数据集、模型权重和评估基准，推动农业人工智能领域的开放研究。

提出的方法

• 利用公开数据集、竞赛数据和专家知识，构建了一个包含 391,785 个图像-文本对的大规模指令跟随数据集，涵盖 221 种病虫害类型。
• 设计了两阶段训练方法：第一阶段使用图像-文本对进行视觉特征对齐；第二阶段在农业对话数据上进行端到端指令微调。
• 在两个训练阶段中均整合了专业的农业知识，以提高准确性并减少幻觉现象。
• 提出一个新的多模态基准 Agri-LLaVA-VQA-Bench，包含 9 种主题类型的提问，涵盖症状、病因、防治措施和命名规范等内容。
• 采用多样化指令格式的监督微调，以增强模型在未见农业查询上的零样本泛化能力和推理能力。
• 开源数据集、模型权重和评估基准，以加速农业多模态人工智能的研究。

实验结果

研究问题

• RQ1 能否通过特定领域的指令数据有效微调大规模多模态模型，以实现农业病虫害识别？
• RQ2 在训练过程中引入知识注入，如何影响模型在农业视觉理解中的推理能力和事实准确性？
• RQ3 高质量、特定领域的指令跟随数据相较于通用领域多模态大模型，在农业视觉问答任务中的性能提升程度如何？
• RQ4 统一的多模态基准能否有效评估农业领域中的视觉问题回答与对话推理能力？
• RQ5 数据量和指令多样性对农业多模态下游任务性能的影响程度如何？

主要发现

• Agri-LLaVA 在封闭集 VQA 问题上达到 55.66% 的平均准确率，在开放集问题上达到 27.34%，在综合推理能力上相比 LLaVA 提升 4.87%。
• 仅使用第一阶段数据训练的模型在视觉推理能力上显著弱于经过第二阶段微调的模型，凸显了指令微调的重要性。
• 随着第二阶段指令跟随数据量的增加，性能持续提升，表明高质量对话数据在其中起着关键作用。
• 采用 6,000 个指令样本的 Agri-LLaVA 变体在封闭集上达到 60.05% 的准确率，在开放集上达到 30.77% 的 F1 分数，超越通用领域模型。
• 随着数据量增加，Agri-LLaVA 与 LLaVA 的性能差距缩小，表明特定领域数据可弥合零样本能力的差距。
• 所提出的 Agri-LLaVA-VQA-Bench 基准能有效捕捉农业视觉推理的复杂性，并提供可靠的评估框架。