[论文解读] Leveraging Vision Language Models for Specialized Agricultural Tasks

Muhammad Arshad, Talukder Z. Jubery+9 more|arXiv (Cornell University)|Jul 29, 2024

Smart Agriculture and AIAgricultural and Biological Sciences被引用 3

一句话总结

该论文提出了AgEval，一个用于在12种不同的农业挑战中评估多模态大语言模型（LLMs）在零样本和少样本植物应激表型分析任务的基准。结果表明，少样本上下文学习显著提升了性能——尤其是使用相关（靶心）示例时——同时揭示了模型在不同类别间的一致性存在显著差异，其中GPT-4o展现出最强的整体适应能力，F1分数从零样本的46.24%提升至8-shot设置下的73.37%。

ABSTRACT

As Vision Language Models (VLMs) become increasingly accessible to farmers and agricultural experts, there is a growing need to evaluate their potential in specialized tasks. We present AgEval, a comprehensive benchmark for assessing VLMs' capabilities in plant stress phenotyping, offering a solution to the challenge of limited annotated data in agriculture. Our study explores how general-purpose VLMs can be leveraged for domain-specific tasks with only a few annotated examples, providing insights into their behavior and adaptability. AgEval encompasses 12 diverse plant stress phenotyping tasks, evaluating zero-shot and few-shot in-context learning performance of state-of-the-art models including Claude, GPT, Gemini, and LLaVA. Our results demonstrate VLMs' rapid adaptability to specialized tasks, with the best-performing model showing an increase in F1 scores from 46.24% to 73.37% in 8-shot identification. To quantify performance disparities across classes, we introduce metrics such as the coefficient of variation (CV), revealing that VLMs' training impacts classes differently, with CV ranging from 26.02% to 58.03%. We also find that strategic example selection enhances model reliability, with exact category examples improving F1 scores by 15.38% on average. AgEval establishes a framework for assessing VLMs in agricultural applications, offering valuable benchmarks for future evaluations. Our findings suggest that VLMs, with minimal few-shot examples, show promise as a viable alternative to traditional specialized models in plant stress phenotyping, while also highlighting areas for further refinement. Results and benchmark details are available at: https://github.com/arbab-ml/AgEval

研究动机与目标

• 为解决传统植物应激表型分析方法在可扩展性方面的局限性，这些方法依赖专家人力，耗时且具有主观性。
• 评估多模态LLM在标注数据有限的农业任务中，于零样本和少样本设置下的潜力。
• 建立一个标准化基准——AgEval——以评估模型在包括识别、分类和量化在内的多样化植物应激表型任务中的表现。
• 量化示例相关性以及模型在不同植物应激类别和数据集间的一致性对性能的影响。
• 为未来农业领域适配的LLM开发提供基线指标和洞见。

提出的方法

• 作者从公开和内部数据源收集了基准数据集，涵盖多种作物和应激类型下的12项多样化植物应激表型分析任务。
• 任务包括识别（应激是否存在）、分类（应激类型）和量化（应激严重程度或范围），反映现实世界中的农业挑战。
• 评估框架使用最先进的多模态LLM（包括GPT-4o、Claude-3、Gemini和LLaVA）评估零样本和少样本上下文学习的性能。
• 性能通过F1分数和平均倒数排名（MRR）进行衡量，重点关注示例相关性和类间一致性。
• 使用变异系数（CV）量化每个数据集中各类别间性能的均匀性，揭示模型在不同应激类型下的可靠性。
• 研究分析了不同少样本示例（靶心类【同类别】、相关类【不同类别】和无关类）对预测准确率的影响。

实验结果

研究问题

• RQ1 最先进的多模态LLM在零样本和少样本植物应激表型分析任务中的表现如何？
• RQ2 示例相关性（特别是靶心类与相关类、无关类示例）对少样本学习性能有何影响？
• RQ3 模型在每项表型分析任务中不同类别间的预测一致性如何？哪些因素导致性能差异？
• RQ4 哪种模型架构在多样化农业应激表型分析任务中展现出最强的整体适应能力和一致性？
• RQ5 不同模型在识别、分类和量化子任务中的优势表现如何比较？

主要发现

• GPT-4o在少样本学习中实现了最高性能提升，其在识别任务中的F1分数从零样本的46.24%提高到8-shot设置下的73.37%。
• 包含精确类别（靶心）示例使F1分数平均提升15.38%，而来自其他类别的示例则产生可忽略或负面的影响。
• 模型在不同任务中的表现一致性存在显著差异，变异系数（CV）范围为26.02%（GPT-4o）至58.03%（Claude-3-haiku），表明在各类别间性能波动较大。
• 大豆病害的CV最高（81.29%），可能由于图像分辨率较低；而杜伦小麦的CV最低（14.28%），表明性能更均匀。
• Gemini-pro-1.5在零样本识别任务中表现最佳（MRR = 0.69），而GPT-4o在零样本分类和量化任务中表现最优（MRR = 0.70）。
• Claude-3.5-sonnet在分类和量化任务中表现出持续的优越性，凸显了不同模型在任务类型上的特定优势。